本文分享自华为云社区《【先锋开发者云上说】学生开发者勇担青年使命,用AI守护少数人的"视界"》,作者:华为云社区精选 。
青年动人之处,在于他们的勇气,和非凡的创造探索精神。
有这样一群00后学生开发者、,他们用AI探索医疗领域的技术创新,为少数群体守护光明。
在刚刚结束的2023华为开发者大赛全球总决赛上,他们一路过关斩将,凭借AI眼部医疗辅助诊断系统获得了中国赛区学生赛道全国一等奖的铜奖。
如果早一点,人们眼里光就多一点
孙洋今年大三,是电子科技大学成都学院人工智能专业的一名学生,他很喜欢这个伴随着AI技术浪潮而起的新兴专业,常常泡在学校实验室里研究神经网络、深度学习、图像识别、人机交互等各种技术。直到一次比赛,孙洋无意中接触到一个医疗辅助诊断系统的项目,顿时兴趣高涨。
"我就想基于最初的原型,结合AI技术把项目进一步扩大。"在这个过程中,孙洋找来了几个志同道合的小伙伴,正式组建了"融创眼援"团队,即用融合创新的技术"援助"那些患有眼部疾病的群体。
孙洋选择做这个项目的初衷,既是为了研究图像识别技术在医疗领域的应用,更是考虑到宏观的社会现状和市场环境下,眼健康行业中普遍存在缺乏早筛且资源分布不均的问题,"如果能早一点,那么人们眼里的光就多一点",他们渴望用学到的技术去做一些实事,为这个世界带来一点改变。
接入上云,项目加速
团队成员先是去学校的合作医院走访调研,从与眼科医生的访谈中抽象出项目的数据模型逻辑,随着调研的深入,他们发现做医疗项目最棘手的就是数据隐私安全。由于医疗数据的特殊性,患者的病史数据难以在各个医疗机构共享,不可避免形成"数据孤岛"的局面,从而导致医疗资源的浪费,也让医生难以全面了解患者情况,难以做出正确的诊疗决策。
介于医疗数据的特殊性,孙洋和团队选择采用联邦学习的训练框架,将敏感的眼部影像数据保存在本地,把数据训练出来的模型参数上传到云端,来保证模型的效果。
但对于学生开发者来说,上云面临着巨大的成本压力。此时,孙洋在学校论坛上看到了华为开发者大赛的消息,当即决定带着团队试一试。报名成功后,孙洋很快申领到了一定数额的上云代金券。
他们先是用华为云云耀服务器搭建了一个底座,本地通过SSH连接到云服务器,配置好联邦学习需要的基本网络设置,以及依赖库,将模型参数传到云上的数据库,团队成员都可以直接访问下载,进行新的训练和计算,再将新的模型参数更新到云端,提高模型的准确率。
"最开始我们在做云端系统搭建的时候,完全摸不着头脑。好在华为云官网上的技术文档非常详细,再加上华为云社区其他开发者分享的详细教程,跟着一步步做基本上没问题。之前我们在本地构建数据库管理数据也挺麻烦的,但在云上一键就能完成,省时省力。"孙洋提到,在华为云的支持下,他们基本上实现了零成本的接入上云,从而能更顺利地推进整个项目。
在数据训练方面,最初孙洋也只能用自己的电脑来跑,后来借助华为赠送的昇腾Atlas 200I DK2开发板,得以快速高效地在本地完成模型的训练,然后再将数据传回电脑和云上,既节省了一定的硬件成本,也缩短了他们的研发周期。
从实践中来,创新的多模态融合
在和医生的交流中,孙洋观察到他们在实际诊断中,不仅仅要仔细查看病人的眼底影像,而且要综合病人的的其他病理检查结果,才能得出一定的结论。
孙洋举了个例子,假如一个患者患有糖尿病视网膜病变,血糖的升高会导致他眼球血管里面的渗透压增大,医生要去检查他眼球血管是否有增生或者阻塞。但单从一张眼底彩相只能看到血管的分布,医生还需要查看患者拍摄的 FFA(荧光素眼底血管造影技术)的图像,了解血管的流向,并综合患者的血糖、日常饮食习惯等其他情况,来给出最终的诊断结果。
"于是,我们就做了多模态数据的融合,将眼底图像、FFA图像、OCT图像和检测数据转化成向量,并对不同的数据类型进行权重分配,加入到神经网络里面来实现融合诊断。"
由于获取到的医疗数据有限,孙洋和团队对既有的数据进行增强来提高模型的准确率;并自主研发了基于超参数的改进TransCNN模型,试验结果的准确率高达97.48%,在500例与专业医师诊断结果对比中,差异率也控制在3%~5%之间。
为了让医生能够更高效得使用这套AI辅助系统,他们还创新研发了一体化图像处理技术,包含有血管分割、分类检测、自动标注、表格统计四大功能,满足了医生的绝大多数需求。
从确定产品规划、实现核心算法突破到与相关医院取得意向合作,对标一线完善系统定位与设计,历经一年的攻坚克难,融创眼援开发出了基于多模态的眼部医疗辅助诊断系统。
"现在,医生只需上传患者的影像资料,我们的眼部辅助诊断系统可在8秒内实现自动标注并给出影像诊断意见,随后生成病情报告,在单一病种诊断上对比专业医生,准确率高达97.48% 。"
让源源不断的创意变为现实
团队下一步的方向是将二维眼底图像转化成3D模型,可视化模拟真实的眼球血管走向,再借助传感器来实现手势识别,结合华为云的语音识别服务,开发出更高效的可视化交互诊断系统,这样医生就可以直接在这个3D眼球上进行观察或者手术模拟等。"类似于元宇宙医疗的概念"孙洋补充道。
回顾参赛以来的种种经历,孙洋心有戚戚,"就像打开了新世界的大门,因为之前参加的一些比赛都很看重表面工作,但华为开发者大赛评判作品的首要标准是技术创新,对于热爱技术的我们来说特别友好。而且华为云的很多产品有详细的学习路径和教程,即使和自己专业无关,我们也可以去玩一玩、学一学。"
当接触学习的内容多了,这群学生开发者经常会冒出各种新奇的想法,如孙洋所说,"脑子里就像有一台计算机,想去尝试各种新兴前沿的技术,比如我们现在对脑机接口很感兴趣,在想是不是可以通过它让抑郁症患者重回正常生活......"
开发者,是用代码改变世界的人。他们写下的每一行代码,开发的每一款应用,都有可能成为驱动创新的重要源泉。华为云予力学生开发者追求AI医疗技术创新,帮助他们脚踏实地去实现梦想,让源源不断的创意变为现实。