本文面向医学影像中的肺腺癌磨玻璃结节（GGNs）术前侵袭性分型问题，目标是在术前区分 AIS、MIA 与 IAC。三类病变预后和治疗策略不同：AIS 可偏保守管理，MIA 预后较好，IAC 更需积极干预，但它们在 CT 上表现重叠，放射科医生判断困难。
现有深度学习研究多只使用 CT 图像，或只做"侵袭/非侵袭"二分类，较少融合临床变量和血清肿瘤标志物，也难以稳定完成 AIS/MIA/IAC 三分类。作者的动机是：将 CT 深层影像特征与年龄、性别、吸烟史、NSE、CYFRA21-1、CEA 等信息融合，提升术前预测可靠性。
另外我整理了医学多模态AI科研资料包：7篇顶会论文+可运行代码+写作模板，感兴趣的dd，希望能帮到你！
二、核心方法
-
整体思路：使用 ResNet50 提取 CT 结节图像特征，再与 8 个临床/实验室变量拼接，输入 RBF-SVM 完成 AIS、MIA、IAC 三分类。
-
主要流程：
-
手工分割结节 VOI；
-
DICOM 图像与掩膜做 bitwise AND，仅保留病灶区域；
-
用 Otsu 方法定位结节质心；
-
裁剪 224×224 图像块；
-
ResNet50 提取 2048 维图像特征；
-
8 维临床特征归一化后与图像特征拼接；
-
SVM 输出三分类结果。
-
-
关键组件：
-
F_image：由 ImageNet 预训练并微调的 ResNet50 经全局平均池化得到，表示 CT 影像深层语义特征。 -
F_clinical：包括年龄、性别、吸烟史、肿瘤家族史、个人肿瘤史、NSE、CYFRA21-1、CEA。 -
RBF-SVM：用于处理高维、小样本和非线性分类关系。
-
-
实现要点：
-
重要语义部分通过人工分割病灶、Otsu 质心定位和中心裁剪保留；
-
多样性通过训练集数据增强实现，包括翻转、旋转、亮度/对比度调整；
-
为避免数据泄漏，增强只用于训练集；
-
类别不平衡主要通过增强 AIS、MIA 少数类缓解；
-
SVM 的 C 和 γ 通过 5 折交叉验证网格搜索优化。
-
三、实验验证与效果
- 数据与任务：纳入 4 个中心共 431 个 GGNs，包括 AIS 60例、MIA 57例、IAC 314例；训练/验证 296例，测试 135例。
- 主实验结果：多模态模型准确率 72.2%，精确率 95.6%，NPV 96.0%，MCC 73.1%，宏平均 AUC 为 0.87；优于 CT-only 模型 AUC 0.79，也优于 senior radiologist 0.67 和 junior radiologist 0.57。
- 分类细节：AIS 精确率 84.6%、召回率 57.9%；MIA 精确率 35.7%、召回率 29.4%；IAC 精确率 84.4%、召回率 81.8%。MIA 仍最难，但融合模型相对医生优势最明显。
- 消融与分析：CT-only 模型准确率 64.9%，融合临床信息后提升至 72.2%，说明临床变量和肿瘤标志物对侵袭性判断有增益。论文也指出缺少外部验证、无热图解释和未加入影像组学特征是主要限制。
四、小编总结
这篇论文的核心价值在于把 CT 图像、临床信息和血清肿瘤标志物放到同一预测框架中，用于肺腺癌磨玻璃结节 AIS/MIA/IAC 三分类。
结果显示，多模态融合明显优于单纯 CT 模型和两位放射科医生，尤其对术前决策有辅助意义。不过，MIA 识别仍偏弱，且模型尚需外部验证后才能支持临床推广。