作者 | 心缘
编辑 | 漠影
用手机拍张眼部照片,就能秒知是否传染新冠。
这是复旦大学大数据学院人体感知实验室与国内外多家机构联合研发的COVID-19 EYE TEST新冠传染风险检测技能。
无需任何专业设备,借助一台能拍照的智能硬件拍摄一张眼部照片,测试者即可随时随地用该技能在3秒内判断是否有新冠传染的风险。
这样操作便捷、险些没有本钱、有助于降落居民出行风险且准确率高的创新研究,刚刚被2021国际展望大会(NEXT SUMMIT)生物医药与大康健论坛主要演讲收录。
值得一提的是,该技能已在中国永久免费开放。
COVID-19 EYE TEST技能是怎么做到的?通过眼部检测来诊断疾病的可靠性和临床科研难度分别有多高?它能完备代替去医院做新冠肺炎核酸检测吗?
近日,智东西与卖力该项目的AIMOMICS首席科学家、复旦大学大数据学院青年研究员付彦伟博士,以及AIMOMICS首席数据工程师孙强博士进行深入互换,理解眼部检测技能在新冠筛查方面的运用上风、利用流程以及其未来可检测疾病的范畴。
付彦伟(图左)与孙强(图右)
一、看看眼睛就能诊断疾病,准确吗?
“不雅观眼识病”在中西方医学中皆由来已久。
中医有目诊干系理论学说,西方有眼表微循环理论,基于眼表和眼底视网膜进行疾病诊断的AI医学影像技能也日益成熟。
个中,运用眼底相机检测技能,常日需专业眼底相机来拍摄、利用特定算法针对特定疾病识别,并经由大量人工标注改动,此类方法利用本钱较高,临床技能相对成熟。
比较之下,眼表检测技能利用普通手机或相机即可拍摄,通过一种算法框架,能做到多种疾病一次性识别,采取专家启示标准、不依赖大量手工标注的弱监督自主学习进行标注。
眼表疾病诊断系统
受这些启示,AIMOMICS、复旦大数据学院、复旦大数据学院大数据感知实验室与多方国际团队互助,组建起包括机器学习、临床医学和商业领域专家的团队,开展“环球跨地区跨人种新冠眼部检测临床实验”。
该项目名为AIMOMICS EYE TEST PROGRAM,自2020年2月正式启动,团队基于COVID-19新冠疾病眼部便捷拍摄检测的远程风险筛查,在进行重点攻关研究与市场转化。
自2020年新冠爆发开始,不断有论文报告新冠疾病与眼部特色的关联,尤其在2020年9月之后,类似的论文数量迅速增加。
但没有经由系统演习的人类肉眼不雅观察,难以从繁芜细微的眼部特色中找出线性的逻辑关联,只有通过系统的眼部病理特色库启示和像素级别的机器视觉剖析,才能实现真正意义上眼部特色识别和剖析,并找出强关联的临床证据,EYE TEST项目采取的即是这一技能方向。
“我们团队该当是环球第一个揭橥干系论文,并实现跨地区跨人种精良检测结果的。”孙强博士说,他提到德国、中国、新加坡、美国、加拿大均开始有通过眼部特色检测疾病的干系技能宣布,有些企业已经开始获取商业订单,但是还没有看到他们有任何学术论文的揭橥。
AIMOMICS EYE TEST PROGRAM运用处景(移动设备、APP软件、视频监控、实时机场安检、疾病防控医疗东西、家庭自测远程医疗保健)
目前,COVID-19 EYE TEST项目在环球多个地区临床实验中的敏感性与特异性均匀指标均达到了85%以上,个中东亚人的均匀特异性和敏感性更是最高达97%。
“在日本,我们合营当地的核酸检测企业做风险赞助筛查,只要我们筛查出高风险的,险些99%以上核酸检测阳性。”孙强博士阐明道,这取决于一部分技能,或者成为特色启示紧张源自对东方人的传统目诊医学,其他人种需经一定临床实验并不断调参才能达到与东亚人同样的准确程度。
同时,不同疾病的病理分型、病毒载量、并发症等等,都会对应不同的眼部病理特色,如果要实现检测模型跨区域跨人种的普适性,就会呈几何数量级别地增加实验难度,但一起走来,该项目团队终极还是战胜了所有困难。
在大规模GPU高性能打算及机器视觉技能和深度学习工具的支持下,EYE TEST项目环球首次以跨地区跨人种临床实验办法供应了人体眼部病理特色与新冠疾病干系的检测证据和该检测模型对跨地区跨人种的普适性证据,并在ARXIV预印本期刊环球首发“跨地区跨人种新冠眼部检测临床实验”学术论文《Report on China-Spain Joint Clinical Testing for Rapid COVID-19 Risk Screening by Eye-region Manifestations》
上海、河北、西班牙和总测试数据集上的COVID-19与非COVID-19 ROC曲线比拟
部分干系论文链接:
https://www.medrxiv.org/content/10.1101/2020.09.03.20184226v4
https://ephconference.eu/
https://www.medrxiv.org/content/10.1101/2021.06.23.21258626v1
https://arxiv.org/abs/2109.08807
二、助力海内疫情防控!
向中国用户免费开放
目前,EYE TEST项目团队已经完成了眼部检测开拓平台的搭建,为所有具有民用摄像头的智能硬件与配套软件企业,陆续供应各种型疾病检测的API或者SDK搭载做事。
个中新冠检测的免费demo和非商业目的免费API(需开拓者审核)仅向中国境内(港澳台除外)永久免费开放,且测试过程严格遵守境内外数据合规及隐私安全。
用户操作方法非常大略,全体过程无需注册任何个人信息。进入新冠肺炎眼部检测风险筛查免费测试内测版链接,页面会涌现“快速检测”和“高等检测”两个选项。
点击“快速检测”后,测试者可以通过在直接拍照或选择手机上的眼部照片,按照图例对齐,3秒内即可获取测试结果。
“高等检测”选项则哀求测试者按照指示,以“前、左、右、上”的顺序依次拍摄或选择手机相册中这4个不同角度的眼部照片,按图例对齐后上传获取检测结果。
如果在“快速检测”中被诊断出“高风险”,建议增加检测次数、改换不同光照环境,选择“高等检测”再次进行眼部拍摄,如果多次检测结果仍为“高风险”,则建议及时咨询专业医疗机构。
内测链接:http://eyetest.aimomics.org/demo/#/index
要把稳的是,拍摄应在光芒充足的通亮环境下进行,避免赤色背景前拍摄,且测试者的眼部不能扮装、不能佩戴隐形眼镜、不能被头发遮挡。
其余,相机分辨率应不低于300万像素,眼部图片分辨率高于1900×500,并且不要加任何滤镜。
拍摄后,页面会涌现提示,指引测试者手动对眼部照片进行缩放移动和裁剪,裁剪后的眼部照片不能涌现背景。
后续该项目团队还操持将检测办法升级为拍摄一段小视频,可以检测多种疾病,且准确率更高。
三、仅供赞助筛查,不能代替核酸标准
需强调的是,由其新冠眼部检测工具得出的评估内容,不能代替年夜夫面诊和任何医疗工具所检测的结果。
付彦伟博士见告智东西,任何赞助快速筛查手段,都不能代替核酸作为新冠检测的金标准,赞助快速筛查手段存在的意义,是为医疗机构认可的标准疾病诊断来供应更高效便捷的风险筛查和综合干预赞助。
此类手段更多便于提高面向大规模人群的疾病筛查的针对性与准确性,可发挥帮忙创造疑似高危工具群体、理解目标根本人群的疾病防控状况、降落大规模筛查的医疗与社会本钱等代价。
跨地区、跨人种进行眼部检测临床实验,是一件难度颇高的长期事情。团队必须确保临床科研的合规性,每个在不同地区、不同机构进行涉及人体临床科研的实验,都须要临床注册和批件。
“我们在环球各个地区利用不同措辞、适应不同的地区规范、符合不同地区的法律哀求,无论是在本钱投入、跨界协同、资源整合、数据合规、各种协议签署、争抢韶光窗口的角度上来看,仅仅完成这个批件得到便是一个相称困难的事情。而这只是临床实验的一个开始。”付彦伟博士说。
而在实验中的各种临床数据获取、采集、剖析、处理,达到学术研究的基本哀求,又是另一个历经艰辛的故事。
因受到知识产权、联合研究机构NDA保密协议等干系商业规则限定,EYE TEST项目的“环球跨地区跨人种新冠眼部检测临床实验”只能选择可公开,或联合研究机构赞许揭橥的内容进行揭橥。
同时,由于医学类顶级期刊的投稿韶光长达到4个月旁边,且哀求补充临床数据和文章修回严格,项目团队已在医学杂志顶刊的投稿还暂未揭橥。
不过团队已经在不断撰写和投稿揭橥各种不同类型的眼部疾病检测和干系医学论文,个中多篇自2020年9月至今已在MEDRXIV预印本上揭橥,并被2021年第十四届欧盟公共康健会议、NVIDIA 2020 GTC中国线上大会聪慧医疗和生命科学分论坛、2021NEXT SUMMIT国际展望大会生物医药与大康健论坛主要演讲收录。
结语:糖尿病检测已进入大规模内测
快速诊断是传染病防控的必修课,近年来,AI在加速医学影像剖析和药研等医学康健领域正发挥着越来越主要的代价。而AI眼部检测技能作为医疗机构的前置赞助筛查手段,能为大众带来最低本钱的日常康健风险筛查便利。
在持续优化实验的同时,AIMOMICS EYE TEST项目团队与几家国际互联网企业、手机企业、核酸检测企业的商业化地区内测已陆续完成,因受商业测试保密协议限定暂未公开。
此前该项目授权的欧洲互助企业已就新冠眼部检测技能得到了CE认证,其他医疗证照亦在申请中,并已经拿到数百万欧元以上的天使投资,累计得到数千万公民币的商业检测订单。
除了判别新冠肺炎外,据付彦伟博士透露,基于其眼部检测技能的糖尿病检测已经进入大规模内测,在内测临床实验数据集上准确率超过85%,团队还在进行即时检测血糖高低指标的实验。
孙强博士也提到团队操持随后陆续开放永久免费的“体温、心率、血压、感情、糖尿病”demo以及非商业目的免费API。同时,团队已与国内外多家医疗机构分别布局了“病毒性流感、肺部疾病、肝部疾病、心脏疾病、心血管疾病、精神类疾病”的专项科研课题,将会很快挂牌全面启动。
眼表检测疾病方案
“希望通过我们的EYE TEST API PLATFROM,为环球更多对眼部检测有兴趣的企业和开拓者,供应一个更开拓便捷的科研互换与商业实践的平台。”孙强博士说。