01
文献信息
本次分享的文献是由哈尔滨医科大学附属肿瘤医院王瑞涛团队联合哈尔滨理工大学计算机学院、哈尔滨医科大学第一、第二附属医院等多家单位2025年2月在《European Radiology 》（中科院2区，IF=4.7）上发表的研究"Multimodal deep learning: tumor and visceral fat impact on colorectal cancer occult peritoneal metastasis "即多模态深度学习：肿瘤和内脏脂肪对结直肠癌隐匿性腹膜转移的影响，开发了一种名为MSFF-Net的多模态深度学习模型，结合结直肠癌（CRC）患者的CT图像（肿瘤最大截面和L3水平内脏脂肪）与临床数据，用于预测隐匿性腹膜转移（PM）。模型在内部和外部测试集上均表现出色，AUC分别达到0.941和0.911，显著优于传统方法和放射科医生判断。
图 2：实验流程与MSFF-Net 架构图
输入：肿瘤最大径CT切片+ L3水平内脏脂肪CT切片（均与掩码通道拼接）。
特征提取：
双路改进ResNet18（肿瘤路径 +脂肪路径）。
掩码引导注意力：在残差块末端添加掩码（目标区域+0.5，背景-0.5），增强目标区域响应。
多尺度特征融合（MSFF）：
融合Layer2、Layer3、Layer4的特征。
通过下采样、1×1卷积、双线性上采样统一尺度至H/16×H/16×3C。
分类器：
全连接层输出特征 + 逻辑回归筛选的临床特征 → 输入随机森林（RF）分类器。
02
研究背景及目标
研究背景：
- 结直肠癌（CRC）是全球高发肿瘤，腹膜转移（PM）预后极差。
- 术前CT对腹膜转移检出率有限，隐匿性PM常在手术中才被发现。
- 既往研究多聚焦于单模态影像（如肿瘤大小、形态），少有将肿瘤特征+内脏脂肪特征结合。
- 深度学习在胃癌、直肠癌转移预测中已有应用，提示其潜力。
研究目标：
- 建立一种多模态深度学习模型（MSFF-Net），整合肿瘤影像特征、内脏脂肪指数（VATI）及临床数据，以提高CRC隐匿性PM的预测准确性。
03
数据和方法
研究对象：
内部队列：416例CRC患者（2017--2023年，哈医大肿瘤医院），67例伴PM。
外部验证集：119例患者（哈医大一院、二院），22例伴PM。
图 1：患者纳入流程图
数据处理：
CT图像：取肿瘤最大径切面 和L3水平（第三腰椎层面）脂肪分布。
内脏脂肪分割：使用HU阈值（ −150至 −50） +ImageJ测量。计算VATI=VAT面积/身高²。
图像增强：翻转、标准化。
数据平衡：使用Borderline-SMOTE过采样。
模型方法：
基础网络对比：ResNet18、ResNet34、ResNet101、DenseNet121→选取ResNet18。
提出多尺度特征融合网络MSFF-Net：引入掩码注意力机制，融合多尺度特征（肿瘤+脂肪）。
融合方式：
深度学习影像特征 +临床因子（CEA、CA199、肿瘤大小、VATI等）
最终分类器：随机森林（RF）。
统计分析：
单变量&多变量Logistic回归→独立预后因子。
性能评估：ROC曲线（AUC）、DCA临床决策曲线。
04
实验结果图
图 3：不同模型的ROC曲线对比
**(a)**不同机器学习模型（RF、SVM、XGBoost）在相同输入下对比 → RF最佳。
**(b)**单肿瘤、单脂肪、肿瘤+脂肪、再加临床因子 → 性能逐步提升，最终AUC=0.941。
**(c)**外部验证集 + 与放射科医生对比 → 模型稳定优于医生。
图 4：决策曲线分析（DCA）
**(a)**内部验证集
**(b)**外部验证集
多模态MSFF-Net在10--90%阈值范围内均显示更高净获益。
图5：Grad-CAM可视化(ResNet卷积层响应图)
图6：预测纠正与分布散点图
**(a)**内部验证：比较"肿瘤+临床" vs "肿瘤+脂肪+临床"，脂肪模态修正了部分假阴性/假阳性。
**(b)**预测分布可视化，显示Borderline-SMOTE在解决类别不平衡后提升了区分度。
05
讨论
创新点：
- 首次结合肿瘤影像+脂肪影像+临床因子，实现CRC隐匿性PM预测。
- 提出MSFF-Net，通过掩码注意力机制增强对目标区域的识别。
- 显示内脏脂肪作为可干预因子在转移预测中的价值。
局限性：
- 仍需人工分割肿瘤和脂肪→不是完全端到端。
- 未纳入基因组学/蛋白质组学等多组学数据。
- 模型可解释性有限（仅Grad-CAM）。
- 样本来自单一地区，需更大规模多中心验证。
临床价值：
- 预测CRC患者隐匿性PM风险→可辅助术前决策（是否行探查性腹腔镜、是否强化治疗）。
- 提示肥胖/脂肪代谢管理可能降低转移风险。
技术亮点：
- 多尺度特征融合+注意力机制
- 多模态（影像+临床）整合
- 优于传统放射组学与经验性预测方法