AFLoc：告别手工标注！多模态视觉-语言模型实现跨模态“零标注“病灶定位，34种胸部疾病检测超越人类专家

AFLoc：告别手工标注！多模态视觉-语言模型实现跨模态"零标注"病灶定位，34种胸部疾病检测超越人类专家

期刊：Nature Biomedical Engineering（自然-生物医学工程，IF=26.7，Nature系列旗舰子刊，全球顶级生物医学工程期刊之一）

发表时间：2026年1月6日（在线发表）

作者 ：Yang H（杨浩）#、Zhou HY（周洪宇）#、Liu J（刘嘉润）、Huang W（黄维健）、Li C（李成）、Li Z（李志焕）、Gao Y（高远旭）、Liu Q（刘且根）、Liang Y（梁勇）、Yang Q（杨旗）、Wu S（吴松）、Tan T（谭涛）、Zheng H（郑海荣）、Zhang K（张康）、Wang S（王珊珊）

通讯作者：王珊珊（中国科学院深圳先进技术研究院研究员，医学成像科学与技术系统全国重点实验室）、张康（澳门科技大学医学人工智能研究所教授）

研究机构：中国科学院深圳先进技术研究院（第一/通讯单位）、清华大学、澳门科技大学、温州医科大学、南昌大学、首都医科大学北京朝阳医院、深圳大学、澳门理工大学

DOI：10.1038/s41551-025-01574-7

PMID：41495192

---

一、研究背景

医学影像是现代临床诊断的基石。从X线胸片到眼底照片，从CT/MRI到病理切片，全球每年产生的医学影像数量以数十亿计。然而，这些影像中蕴含的关键诊断信息，长期以来依赖放射科医生和病理医生逐张"肉眼阅片"，效率低下且存在显著的观察者间差异 1。

人工智能（AI）的兴起为这一困境提供了革命性的解决方案。2017年，斯坦福大学Esteva等人在Nature上发表了利用深度学习从皮肤镜图像诊断皮肤癌的里程碑研究；此后，AI在眼底疾病筛查（Nature, 2023）、病理全切片分析（Nature Medicine, 2024）、胰腺癌CT检测（Nature Medicine, 2023）等领域接连取得突破 2-4。然而，一个根本性的瓶颈始终横亘在所有医学影像AI模型面前------标注依赖。

传统深度学习模型的训练如同"学生做题必须先有标准答案"：需要医生在影像上逐像素圈出病灶位置，或在图像级别标注疾病标签。这一过程极为耗时------标注一张胸部CT的肺结节可能需要30分钟，完成一个包含数千张病理全切片图像的数据集标注则需要数月时间。据估算，构建一个可临床部署的AI医学影像模型，标注成本通常占到总开发成本的60%-80% 5。这种"手工业式"的标注范式，严重制约了医学影像AI的规模化推广。

近年来，视觉-语言预训练模型（如CLIP）在自然图像领域取得了巨大成功，其核心思想是通过海量"图像-文本"配对数据学习视觉与语言的联合表征。这一范式在医学领域同样具有巨大潜力------每家医院的信息系统中都存储着大量"影像-报告"配对数据，这些天然的多模态数据无需额外标注即可用于模型训练。然而，如何有效地将临床报告中的语义信息与影像中的视觉特征进行精细对齐，使模型能够"看懂"报告并"找到"对应的病灶，一直是该领域的核心难题。

2026年1月6日，中国科学院深圳先进技术研究院王珊珊研究员团队联合清华大学周洪宇助理教授、澳门科技大学张康教授等，在Nature Biomedical Engineering 发表了题为"A multimodal vision-language model for generalizable annotation-free pathology localization"的研究论文，提出了AFLoc（Annotation-Free pathology Localization）模型------一个无需任何人工标注即可实现跨模态病灶定位的多模态视觉-语言模型 6。该模型在胸部X线、眼底影像和组织病理图像三种模态上均展现了卓越的病灶定位与疾病诊断能力，在多项指标上超越人类专家水平，标志着医学影像AI正式迈入"零标注学习"时代。

二、研究创新点

AFLoc的核心创新体现在以下五个方面：

1. 真正的"零标注"病灶定位范式。 不同于既往依赖像素级标注（全监督）或图像级标签（弱监督）的医学影像AI模型，AFLoc完全不需要任何人工标注------既不需要医生圈出病灶区域，也不需要提供疾病标签。模型仅通过"阅读"影像与对应临床报告的对齐关系，即可自主学习病灶的视觉特征和空间位置。这一范式转变从根本上解放了医学影像AI对标注数据的依赖 6。

2. 多层次语义结构对比学习。 AFLoc设计了独创的多粒度语义对齐策略：在词级别（word-level），模型将报告中的医学术语（如"实变"、"气胸"、"渗出"）与影像中的局部区域对齐；在句子级别（sentence-level），将完整的影像学描述与更广泛的解剖区域对齐；在报告级别（report-level），将整份报告的整体语义与整张影像对齐。这种从细粒度到粗粒度的多层次对齐，使模型能够捕获不同尺度的病理特征 6。

3. 跨模态泛化能力。 AFLoc在胸部X线影像上完成预训练后，无需任何额外训练即可直接应用于眼底影像和病理组织图像的病灶定位任务------实现了真正的"零样本跨模态迁移"。这种跨模态泛化能力在既往的医学影像AI模型中极为罕见，表明AFLoc学习到的是"病灶"这一通用概念的表征，而非特定模态的视觉特征 6。

4. 超越人类专家的定位精度。 在涉及5种病理类型的系统性评估中，AFLoc的病灶定位精度超过了人类放射科医生的水平。这一结果通过标准化比较实验（100例独立阅片）得到验证，为AI在临床影像诊断中的独立价值提供了新的证据 6。

5. 零样本分类超越微调模型。 在眼底视网膜病变诊断任务中，AFLoc在完全不使用任何标注数据进行微调的情况下，其零样本分类性能甚至超越了部分依赖人工标注数据微调的专用模型------这一发现颠覆了"标注数据越多模型越好"的传统认知，展示了大规模视觉-语言预训练在医学领域的巨大潜力 6。

三、技术原理

AFLoc的技术架构围绕"多模态对比学习"这一核心理念展开，其技术路线可分为四个关键模块：

模块一：多模态输入编码（Dual-Encoder Architecture）

AFLoc采用双编码器架构，分别处理影像和文本两种模态。影像编码器基于Vision Transformer（ViT），将输入的医学影像切分为固定大小的图像块（patch），通过多层自注意力机制提取层次化的视觉特征。文本编码器则基于BERT架构，将临床报告中的自由文本转化为语义向量表示。两个编码器的输出被映射到同一高维嵌入空间，使得语义相似的"影像-文本"对在此空间中距离更近 6。

模块二：多层次语义结构对比学习（Multi-Level Semantic Structure-based Contrastive Learning）

这是AFLoc最核心的技术创新。传统视觉-语言模型（如CLIP）仅进行全局的图像-文本对齐，即要求整张影像与整份报告在嵌入空间中"靠近"。然而，医学影像的诊断信息高度局部化------一个直径仅数毫米的肺结节可能只占整张胸片的千分之一面积，却决定了患者的诊断和治疗方案。AFLoc通过以下三个层次的对齐策略解决了这一挑战：

• 词级局部对齐（Word-level Local Alignment）： 从报告中提取医学术语（如"右上肺斑片状阴影"），通过注意力机制将其与影像中对应的局部区域进行精细对齐。技术实现上，模型使用"可学习的查询向量"（learnable queries）在影像特征图上搜索与文本语义最匹配的空间位置，生成病灶概率热力图。

• 句级区域对齐（Sentence-level Regional Alignment）： 将报告中的完整句子（如"右肺中野可见片状高密度影，边界模糊，考虑炎症"）与影像中对应的解剖区域（如右肺中野）进行对齐，使模型理解疾病描述的空间上下文关系。

• 报告级全局对齐（Report-level Global Alignment）： 保持全局的影像-报告语义一致性，确保模型不会因过度关注局部细节而丢失整体诊断信息。

这种多层次对齐策略的效果类似于"看图读报告"的学习过程：模型通过反复对照影像和报告，逐渐理解报告中描述的疾病对应影像中的哪些区域，最终即使面对未见过的影像，也能准确推断病灶位置 6。

模块三：对比损失函数设计

AFLoc的训练目标是最小化多层次对比损失。具体而言，对于每个训练批次中的N对"影像-报告"配对数据，模型计算三个层次的对比损失：词级对比损失（L_word）、句级对比损失（L_sent）和报告级对比损失（L_report），并通过加权求和得到总损失函数：

L_total = λ₁·L_word + λ₂·L_sent + λ₃·L_report

其中λ₁、λ₂、λ₃为各层次损失的权重系数。通过联合优化这三个层次的对比损失，模型在保持全局语义一致性的同时，实现了精细的局部病灶定位能力 6。

模块四：零样本病灶定位推理

在推理阶段，AFLoc不需要任何微调即可直接输出病灶定位结果。具体流程为：给定一张待分析影像和一个疾病相关的文本提示（如"肺炎"），模型计算文本嵌入与影像各空间位置嵌入的余弦相似度，生成像素级的病灶概率热力图。通过设定阈值，可将热力图转化为二值化的病灶分割掩膜。这一过程完全不需要人工标注数据，且推理速度极快------单张胸片的病灶定位仅需约0.3秒 6。

四、实验结果

AFLoc在多个维度展现了卓越性能，以下为核心实验结果的系统总结：

1. 胸部X线病灶定位性能。 在涵盖34种常见胸部疾病、涉及8个主流公开数据集（包括MIMIC-CXR、RSNA Pneumonia、NIH ChestXray14、SIIM-ACR Pneumothorax、ChestX-Det10、MS-CXR、CheXlocalize、COVID Rural等）的测试中，AFLoc在多项病灶定位指标上优于现有最强方法。具体而言，在病灶分割交并比（IoU）指标上，AFLoc相比次优方法（如MedKLIP、MGCA等）平均提升15.3%-28.7%。在ChestX-Det10数据集的13种胸部异常检测中，AFLoc的平均IoU达到0.412，显著优于GLoRIA（0.319）和MedKLIP（0.357）6。

2. 超越人类专家的病灶定位精度。 在一项含100例标准化测试的读者研究中，AFLoc在5种胸部病理类型（肺实变、胸腔积液、气胸、肺不张、肺结节）的病灶定位任务中，其IoU指标超过了放射科医生的平均水平。值得注意的是，当AI辅助放射科医生阅片时，医生的平均IoU从0.498提升至0.567（P<0.001），平均阅片时间从每例28.3秒缩短至21.7秒（P<0.001），实现了"效率与精度的双重提升"6。

3. 零样本疾病分类能力。 在胸部X线疾病分类任务中，AFLoc无需任何微调即可实现强大的零样本分类性能。在CXR-LT长尾数据集（涵盖26种胸部疾病，样本分布极不均衡）上，AFLoc的零样本平均AUROC达到0.802，优于多种需要标注数据训练的监督学习模型。在NIH ChestXray14数据集上，AFLoc的零样本AUROC为0.831，与经过全量标注数据训练的专用模型性能相当 6。

4. 跨模态泛化验证。 在眼底影像任务中，AFLoc在视网膜病变（如糖尿病视网膜病变、年龄相关性黄斑变性、青光眼等）的零样本定位中表现出色，整体定位精度优于当前主流方法。在组织病理图像任务中，AFLoc在肺腺癌组织亚型（贴壁型、腺泡型、乳头型、微乳头型、实性型）的弱监督语义分割任务（WSSS4LUAD数据集）上取得了优异性能，验证了模型在完全不同的成像模态上的泛化能力 6。

5. 消融实验与可解释性分析。 研究团队通过系统的消融实验验证了多层次对比学习各组件的贡献：移除词级对齐损失后，病灶定位IoU下降18.6%；移除句级对齐损失后，IoU下降11.3%；移除报告级对齐损失后，IoU下降7.2%。这表明三个层次的对齐策略对最终性能均有显著贡献，其中词级精细对齐的贡献最大。此外，通过Grad-CAM可视化分析，AFLoc生成的病灶热力图与病理医生标注的病灶区域高度一致，模型关注的区域具有明确的临床可解释性 6。

五、技术优势

AFLoc相比现有医学影像AI模型具有以下核心技术优势：

1. 零标注成本。 传统医学影像AI模型的开发需要大量医生标注数据，成本高昂且周期漫长。AFLoc完全基于影像-报告配对数据进行训练，数据的获取成本接近于零------每家医院的信息系统中天然存在海量的"影像-报告"配对数据。这使AFLoc具备了快速在不同医院、不同病种、不同模态上部署的潜力 6。

2. 卓越的泛化能力。 AFLoc在胸部X线影像上完成预训练后，可直接应用于眼底影像和病理组织图像，无需任何额外训练。这种跨模态泛化能力源于模型学习到的"病灶"通用表征------无论病灶出现在哪种成像模态中，其与周围正常组织的视觉对比、与报告中疾病描述之间的语义关联，在本质上具有一致性 6。

3. 多粒度语义理解。 通过词级、句级和报告级三个层次的对齐策略，AFLoc能够同时理解影像中的局部细节和全局语义，这种多粒度理解能力使其在定位微小病灶（如早期肺结节）和识别弥漫性病变（如肺水肿）时均表现出色 6。

4. 临床工作流友好。 AFLoc的推理速度极快（单张胸片约0.3秒），且输出结果具有高度可解释性------生成的病灶热力图可以直接叠加在原始影像上，帮助医生快速定位可疑区域。在读者研究中，AI辅助使放射科医生的阅片速度提升约23%，同时提高了诊断精度 6。

5. 持续学习潜力。 由于AFLoc不依赖固定的标注数据集，模型可以随着医院影像数据的持续积累而不断更新。当新的疾病类型或新的成像设备引入时，只需将新的影像-报告配对数据加入训练，模型即可自主学习新的诊断知识，而无需重新标注 6。

六、应用前景

AFLoc的技术路线为医学影像AI的大规模临床部署开辟了全新的路径：

1. 大规模疾病筛查。 在胸部X线体检、眼底疾病筛查等大规模人群健康管理场景中，AFLoc可作为"AI预筛系统"，自动标注影像中的可疑病灶并生成初步诊断提示，大幅降低放射科医生和眼科医生的工作负荷。以中国每年约5亿人次胸部X线检查为例，即使仅覆盖10%的体检场景，也可节省数百万小时的医生阅片时间 6。

2. 基层医疗赋能。 在影像科医生严重短缺的基层医院和偏远地区，AFLoc可提供接近三甲医院水平的影像初筛能力。模型仅需部署在普通服务器上即可运行，无需昂贵的GPU集群，硬件门槛低，适合在资源有限的医疗环境中推广 6。

3. 多模态影像统一平台。 AFLoc的跨模态泛化能力意味着未来可能构建一个"统一影像AI平台"------同一模型可同时处理X线、CT、MRI、眼底照片和病理切片等多种模态的影像，无需为每种模态单独开发模型。这将极大降低医院部署AI系统的复杂度和成本 6。

4. 医学教育与培训。 AFLoc生成的病灶热力图可作为医学影像教学的可视化工具，帮助住院医师和医学生快速掌握各类疾病的影像学特征。与传统的"图谱式"教学相比，AI辅助的交互式学习可以显著提高学习效率 6。

5. 罕见病检测。 由于AFLoc无需针对每种疾病单独标注训练数据，其在罕见病检测方面具有天然优势。模型可以通过阅读包含罕见病描述的临床报告，自主学习罕见病的影像学特征，而无需等待积累足够的标注病例------这对于传统监督学习模型几乎是不可能完成的任务 6。

七、研究局限性与未来方向

尽管AFLoc取得了令人瞩目的成果，仍存在以下局限性：

1. 三维影像模态尚未覆盖。 当前AFLoc的验证集中在二维影像（胸部X线、眼底照片、病理切片），尚未扩展到CT、MRI等三维影像模态。三维影像的空间结构更为复杂，且临床报告通常描述的是三维空间中的解剖关系，将当前的二维对比学习框架扩展到三维空间是重要的技术挑战 6。

2. 前瞻性临床验证缺失。 当前研究为回顾性验证，虽然包含了读者研究，但尚未在真实临床工作流中进行前瞻性部署验证。AFLoc在真实临床环境中的表现------包括对医生决策的影响、对患者预后的改善------需要前瞻性随机对照试验来确认 6。

3. 报告质量依赖。 AFLoc的性能高度依赖训练数据中临床报告的质量。在报告书写不规范、术语使用不统一或报告与影像不匹配的情况下，模型的对比学习效果可能受到影响。不同医院、不同地区的报告书写风格差异，也可能导致模型在不同机构间的性能波动 6。

4. 多语言和跨文化泛化。 当前AFLoc的文本编码器主要基于英文临床报告训练，其在中文、日文等非英语临床报告环境中的表现有待验证。跨语言的语义对齐是视觉-语言模型面临的重要挑战 6。

5. 监管审批路径。 作为一种不依赖标注数据的AI模型，AFLoc的监管审批路径尚不明确。现有的医疗器械AI审批框架通常要求模型在固定数据集上进行性能验证，而AFLoc的持续学习特性使得模型性能可能随时间演变，这对监管审批提出了新的挑战 6。

未来方向包括：(1) 将AFLoc扩展到CT、MRI等三维影像模态，实现体素级病灶定位；(2) 开展多中心前瞻性临床试验，验证模型在真实临床环境中的价值；(3) 探索将AFLoc与大型语言模型（LLM）结合，实现从"病灶定位"到"报告生成"的端到端诊断流程；(4) 开发多语言版本的文本编码器，支持跨语言的临床部署；(5) 建立持续学习框架，使模型能够在保障安全性的前提下持续从新数据中学习。

八、结论

AFLoc代表了医学影像AI从"标注驱动"向"数据驱动"范式转变的里程碑。通过创新的多层次语义结构对比学习策略，AFLoc在完全不依赖人工标注的情况下，实现了跨模态的高精度病灶定位------在34种胸部疾病的检测中超越现有方法，在5种病理类型的定位中超越人类专家水平，且展现出令人瞩目的跨模态零样本泛化能力。

AFLoc的核心启示在于：临床影像与报告之间的天然配对关系，蕴含着远比人工标注更丰富、更全面的诊断知识。通过精心设计的对比学习框架，AI可以从这种"弱监督"甚至"自监督"的信号中，学习到与人类专家相媲美甚至超越的影像解读能力。这一范式转变的意义不仅在于降低了标注成本，更在于为医学影像AI的规模化、普惠化部署提供了可行的技术路径------使AI真正走出"需要标注的实验室"，进入"自给自足的真实世界"。

正如王珊珊研究员所言，AFLoc"为临床影像AI从'依赖手工标注'迈向'自监督学习'提供了可行路径，也为构建更智能、更具通用性的医学人工智能系统提供了新的技术范式。"随着多模态数据的持续积累和算法框架的不断完善，以AFLoc为代表的"零标注"AI模型，有望在未来数年内彻底改变医学影像诊断的工作模式，让优质医疗资源真正触达每一个需要的人 6。

参考文献

1. Rajpurkar P, Chen E, Banerjee O, Topol EJ. AI in health and medicine. Nat Med. 2022;28(1):31-38. PMID: 35058619.

2. Esteva A, Kuprel B, Novoa RA, et al. Dermatologist-level classification of skin cancer with deep neural networks. Nature. 2017;542(7639):115-118. PMID: 28117445.

3. Zhou Y, Chia MA, Wagner SK, et al. A foundation model for generalizable disease detection from retinal images. Nature. 2023;622(7981):156-163. PMID: 37704728.

4. Chen RJ, Ding T, Lu MY, et al. Towards a general-purpose foundation model for computational pathology. Nat Med. 2024;30(3):850-862. PMID: 38504018.

5. Tiu E, Talius E, Patel P, et al. Expert-level detection of pathologies from unannotated chest X-ray images via self-supervised learning. Nat Biomed Eng. 2022;6(12):1399-1406. PMID: 36109605.

6. Yang H, Zhou HY, Liu J, et al. A multimodal vision-language model for generalizable annotation-free pathology localization. Nat Biomed Eng. 2026 Jan 6. PMID: 41495192. DOI: 10.1038/s41551-025-01574-7.