👋 欢迎关注我的生信学习专栏~ 如果觉得文章有帮助，别忘了点赞、关注、评论，一起学习
前面分享过免疫治疗虽好，但谁能真正受益？的综述文章，这就看到一篇使用深度学习方法
近日，康奈尔大学、贝勒医学院、约翰霍普金斯大学等联合团队，在Nature旗下期刊《npj Digital Medicine》发表研究成果 ，提出了一种可解释的多模态深度学习框架，能够精准预测肌层浸润性膀胱癌（MIBC）患者对新辅助化疗（NAC）的应答情况。
📘 文章信息
Bai Z et al. Predicting response to neoadjuvant chemotherapy in muscle-invasive bladder cancer via interpretable multimodal deep learning. npj Digit Med. 2025.
🧭 01 背景介绍：MIBC治疗为什么需要"个体化预测"？
膀胱癌是全球发病率第10的癌种，其中**肌层浸润性膀胱癌（MIBC）治疗手段以"新辅助化疗（NAC）+ 根治性膀胱切除（RC）"**为标准方案。
然而：
- 仅**30~35%**患者在NAC后可获得完全病理缓解（pCR）；
- NAC药物存在明显毒副作用，且若无效会延误手术；
- 临床目前仍是"one-size-fits-all"的经验式用药决策。
🔴 如何在治疗前识别"谁会对NAC真正获益"？
这是精准医疗、尤其是泌尿肿瘤领域迫切需要解决的关键问题。
📦 02 数据设计：真实临床数据 + 配对多模态输入
本研究基于SWOG S1314前瞻性临床试验（NCT02177695），纳入：
- 180例MIBC患者的完整配对数据；
- 包括 H&E切片全图（WSI）+ 微阵列表达谱（GEX）；
- 并辅以患者治疗反应信息（pCR vs 非pCR）。
训练策略采用：
- 5折交叉验证进行训练；
- 20%独立hold-out测试集评估泛化性能；
- 模型评估设计严谨，贴合临床真实场景。
🔍 03 Figure解析：多模态AI框架构建与核心结论
Figure 1：方法结构图（GMLF多模态融合架构）
三类输入 → 三个分支提取 → Late Fusion 融合：
| 分支 | 输入数据 | 特征提取方式 |
|---|---|---|
| 图像分支① | Patch-level WSI图像 | ResNet50 + GNN |
| 图像分支② | HoVer-Net细胞类型 | GNN |
| 分子分支③ | 基因表达谱（1071基因） | MLP |
融合后输出一个预测得分，用于判断 pCR 状态。
📌 多模态整合模型具备"图像-细胞-分子"三层级的信息联动能力。
Figure 3：多模态预测性能显著优于单模态
作者比较了不同模型组合下的预测表现（AUC）：
| 模型组合 | AUC |
|---|---|
| GMLF（多模态融合） | 0.74 |
| 单模态（GEX / 图像） | 0.71 - 0.72 |
| 双模态组合 | 均劣于三模态融合 |
📌 结论：整合模型才能在疗效预测中获得最优性能。
Figure 4：模型"可解释"，不仅预测准，还能挖出机制
基因层面（Figure 4d-e）
SHAP值揭示关键分子包括：
- TP63（基底分型，关联耐药）
- CCL5、RUNX3、DCN、ZEB2、PPARG（趋化、免疫、DNA修复相关）
GSEA显示 pCR 患者富集：
- basal differentiation
- myofibroblast signature
📌 模型不仅做分类，还能回溯潜在机制，具备生物解释力。
图像层面（Figure 4f--h）
WSI图像中，与pCR相关区域表现为：
- 癌细胞多、间质细胞多、坏死少
- 肿瘤-间质比显著升高（p < 0.0001）
📌 模型"学会了"病理医生肉眼也难以系统量化的结构性信息。
Figure 5：模型在高异质性样本中也表现稳定
通过**细胞核多样性指数（MDR）+ Shannon指数（SDI）**评价组织异质性后发现：
- 异质性高 vs 低之间模型表现差异不大；
- GMLF具有良好的泛化与鲁棒性。
04 这类研究值得关注+学习？
这篇文章不仅值得看，还值得复现、值得借鉴、值得引用，原因如下：
| 亮点 | 内容 |
|---|---|
| 多模态整合策略 | 图像 + 转录组 + 临床变量，多层数据协同建模 |
| AI解释性强 | 可视化病灶区域、找出关键基因和通路，不是黑盒 |
| 数据可信 | 前瞻性SWOG临床试验数据 |
| 可迁移性强 | 模型结构+处理流程适合应用到你自己的数据上 |
| 发表权威 | Nature子刊 npj Digital Medicine，数字医学热点期刊 |
总结
一句话总结：这篇文章展示了如何将AI真正嵌入肿瘤治疗决策之中，既有预测力，也有生物解释力，是值得反复学习的典范。
如果也在做多模态分析、肿瘤治疗预测、模型可解释性研究 ，可以从复现中学习一套方法论。
👋 欢迎关注我的生信学习专栏~ 如果觉得文章有帮助，别忘了点赞、关注、评论，一起学习