2024年11月27日，西安交通大学第一附属医院眼科团队在名誉主任王宁利教授的带领下，与首都医科大学附属北京同仁医院王宁利教授团队、香港中文大学袁武教授团队等机构紧密合作，共同研发的多模态、多任务眼科基础模型——VisionFM模型，其研究成果“Development and Validation of a Multimodal Multitask Vision Foundation Model for Generalist Ophthalmic Artificial Intelligence”在《NEJM AI》杂志上成功发表。由裴澄主任，雷剑琴主任医师，樊小娟副主任医师和魏婷主治医师组成的西安交通大学第一附属医院眼科团队，作为研究的主要贡献者，列为该文章的共同作者。该模型在多种眼科疾病的诊断和预测方面展现了卓越的性能，标志着眼科人工智能技术的全新进展，为眼科疾病的智能化辅助诊断提供了强有力的技术支持，也彰显了团队在推动眼科AI发展方面的巨大贡献。

随着社会老龄化趋势的加剧，白内障、青光眼、糖尿病视网膜病变等眼部疾病发病率逐年递增，已成为影响人们健康的重要问题。然而，医疗资源配置繁琐、医护人力资源紧缺、高素质眼科医生和保健工作人员供给和培训远远不足、就医成本开销大，大量人群的眼科保健需求尚未得到有效满足，视力障碍将产生日益严重的个人和社会负担。尽管人工智能虽为眼科医疗带来曙光，但其研究多为针对单一病种或单一成像模式，存在很大的局限性，大范围推广及应用仍面临一定的困难。因此，临床上亟需开发一种能够处理多种类型数据、多病种、适配多场景的通用人工智能基础模型。

团队既往开发出基于深度学习的青光眼视神经病变检测模型，利用眼底照识别疾病的病理特征；随后发布基于青光眼检测注意机制的卷积神经网络模型，利用有限的影像数据助力诊断，提升了模型的可解释性，并已投入青光眼的诊疗实践。在此基础上，团队整合全球18个国家超340万张眼科影像数据，涵盖多部位及各类影像模态，包括外眼图片、眼前节裂隙照片、眼底照片、光学相干断层扫描（OCT）、眼底荧光血管造影（FFA）、眼科B超、超声生物显微镜（UBM）及磁共振，能够同时处理多种眼科疾病的筛查、病理分割、进展预测等任务，成功打造VisionFM模型。

研究结果表明，VisionFM模型在多达10种常见眼科疾病（如糖尿病视网膜病变、青光眼、老年性黄斑变性等）的检测中精准度卓越，其诊断性能优于传统模型ResNet。将VisionFM与不同资历的临床医生进行对比，发现其诊断能力能够超出低年资医生，与中年资医生相当。这一结果表明VisionFM模型不仅能够提高临床诊断的效率，减少误诊风险，还能在影像资源有限的基层医疗环境中发挥重要作用，大大减轻医生的工作负担。

VisionFM作为迄今已发表的参数量最大的通用型眼科人工智能大模型，涵盖了常见眼科疾病及多种诊断模态。展现了出色的疾病检测、眼部结构分割、疾病预测及诊断等多重应用能力。能在面对不同影像设备和新型影像数据时，稳定输出优异诊断结果。不仅精确诊断眼部疾病，还能深挖眼科影像信息，实现脑部肿瘤等全身多种疾病及指标的精准预测，全面升级疾病管理效能。

同时，该模型还可通过深度学习与自监督学习技术的结合，自主生成影像图像用于罕见病、典型病例的医学教学领域。该模型的应用，将有助于提高眼科疾病的诊断效率、优化疾病管理、为患者提供更加精准、高效的医疗服务。同时，该研究的成功，也体现了多机构合作、跨学科交流的重要性。西安交通大学第一附属医院眼科团队将以此为契机，继续深入开展多机构合作、跨学科研究，提升疾病的诊疗效率及精准度，完善患者管理模式，提升疾病整体管理水平，为患者的眼健康保驾护航。

原文链接：https://ai.nejm.org/doi/full/10.1056/AIoa2300221