01
文献学习
今天分享的文献是由中国科学院自动化研究所田捷、刘振宇团队联合广东省人民医院乳腺肿瘤科王坤、中国医科大学附属第四医院放射科张立娜等团队于2026年4月13日在《Cancer Letters 》（中科院1区top，IF=10.1）上发表的研究"Integration of longitudinal MRI and biopsy whole slide images for early prediction of neoadjuvant therapy response and personalized management in breast cancer: A multicenter retrospective and prospective study "即整合纵向MRI与活检全切片图像用于乳腺癌新辅助治疗反应的早期预测及个体化管理：一项多中心回顾性与前瞻性研究，该研究开发了一种名为 RePALM 的多模态深度学习框架，整合了临床信息、治疗前MRI、活检全切片图像（WSIs）和两个周期后的MRI**，用于早期预测乳腺癌患者对新辅助治疗（NAT）的病理完全缓解（pCR）。研究基于2604例回顾性多中心数据和72例前瞻性数据，验证了模型的高效性和泛化能力，并探索了其与RECIST 1.1联合使用、辅助影像科医生诊断、预测无事件生存期（EFS）及生物学机制解释等方面的潜力。**
创新点：①首创整合纵向MRI与活检病理 ：突破单一模态局限，融合动态影像变化 与微观病理特征 预测新辅助治疗反应。②多阶段训练策略与前瞻性验证 ：模拟临床数据获取时序，在大规模多中心队列 及前瞻性队列中验证模型鲁棒性。③多维度模型可解释性 ：结合Grad-CAM、SHAP与RNA转录组分析，揭示模型关注的影像区域及潜在生物学机制。
临床价值：①早期预测治疗反应 ：仅需两个周期后MRI 即可预测pCR，避免无效治疗，为调整方案或手术时机提供依据。②辅助临床决策与提升诊断准确性 ：联合RECIST 1.1分层管理SD/PR患者 ；辅助放射科医生将平均准确率从0.792提升至0.856。③预后评估与个体化治疗指导 ：预测的pCR状态与无事件生存期显著相关，有望筛选免于手术或需强化治疗的患者。
图 1A-B：研究设计总览
A（研究框架流程图） 展示RePALM的数据输入链路：治疗前MRI (NAT前) →活检病理全切片 (WSI) →2周期NAT后MRI →融合临床信息→模型预测pCR/非 pCR
**B（模型开发流程图）**分步训练：1. 单模态独立训练（MRI双U-Net、病理CLAM、临床编码）2. 融合单模态预测概率 → 最终RePALM模型
02
研究背景和目的
研究背景
乳腺癌新辅助治疗（NAT）是术前标准化治疗方案，旨在实现肿瘤降期、提高保乳手术可行性，并评估肿瘤对系统治疗的敏感性。病理完全缓解（pCR）被视为治疗有效的重要替代终点 ，但其发生率在不同分子亚型间差异显著------激素受体阳性/HER2阴性型通常低于15%，而HER2阳性及三阴性乳腺癌可达30%~65%。然而，pCR仅能通过术后病理确诊 ，无法在治疗过程中提前获知，这迫切需要在NAT早期预测治疗反应，以便及时调整治疗强度、优化手术时机或终止无效方案。当前临床评估依赖影像学标准（如RECIST 1.1）和病理分型，但肿瘤异质性、假性进展及成像固有局限性 导致早期评估与术后病理结果一致性较差。近年来，深度学习结合影像组学和数字病理学取得进展，但多数模型局限于单模态或单时间点 ，未能联合捕捉肿瘤在NAT过程中的动态形态演变及活检所反映的微环境特征。因此，亟需构建一个整合纵向MRI与基线活检病理的多模态预测工具，以提升早期反应评估的可靠性，支持个体化治疗决策。
研究目的
本研究旨在开发并验证一个名为RePALM的多模态预测框架 ，该框架整合了临床信息、治疗前MRI、活检全切片图像（WSIs）以及两个周期NAT后的MRI ，用于早期预测乳腺癌患者新辅助治疗后的pCR状态。研究通过四家医疗中心的2604例回顾性患者 进行模型开发与外部验证，并进一步在72例前瞻性队列 中评估其泛化能力。采用逐步整合策略 ，量化各模态的增量预测价值，并与放射科医生的评估进行对比。此外，研究探索了RePALM预测结果与RECIST 1.1联合应用 对治疗分层的潜在价值，通过转录组分析 揭示模型预测背后的生物学机制（如自噬、凋亡、药物代谢等通路富集），以及评估模型评分与无事件生存（EFS）的预后关联 。最终目标是提供一个可辅助临床医生早期调整治疗策略、实现乳腺癌个体化管理的智能化工具，并验证其在多中心、前瞻性场景下的稳健性与可解释性。
03
数据和方法
研究数据
回顾性队列：2604例患者，来自4个独立中心（A、B、C、D），时间跨度为2013--2023年。
前瞻性队列：72例患者（来自队列B），2024--2025年招募。
数据类型：
治疗前MRI、2周期后MRI
H&E染色的活检全切片图像（WSIs）
临床病理特征（年龄、激素受体、HER2、Ki-67等）
术后pCR状态（金标准）
RNA测序数据（60例，用于生物学解释）
技术方法
模型架构 ：RePALM采用三阶段融合策略
单模态模型：MRI（共享参数双U-Net）、WSI（CLAM多实例学习）、临床特征（MLP）
融合模型：将三个模态的预测概率整合为最终输出
技术细节：
MRI肿瘤分割：nnU-Net自动分割 + 人工校正
WSI特征提取：CONCH预训练模型（768维）
模型解释：Grad-CAM、SHAP
评估策略：
内部验证 + 多中心外部验证 + 前瞻性验证
读者研究（5名影像科医生）
RECIST 1.1联合分层
生存分析（Kaplan-Meier）
转录组富集分析（GO/KEGG）
04
实验结果
预测性能：
内部验证：AUROC 0.8731，AUPRC 0.7447
外部验证（B/C/D）：AUROC 0.891--0.897，AUPRC 0.790--0.814
前瞻性验证：AUROC 0.8967，AUPRC 0.8135
增量价值：
融合模型显著优于单模态模型（如ReC: 0.7228 → RePALM: 0.8893）
纵向MRI贡献最大，活检WSI次之
临床辅助：
RePALM可识别约90%的非pCR患者
辅助低年资影像科医生提升准确率（0.792 → 0.856）
预后能力：
RePALM预测的pCR组与真实pCR组在EFS上无显著差异（p=0.961），具有良好的预后一致性
生物学解释：
pCR预测组富集自噬、凋亡、药物代谢、PPAR信号通路等治疗敏感性相关通路
图 1C-H：RePALM跨队列性能
图 2：多模态信息融合的增量贡献
图 3：个体化治疗管理（RePALM+RECIST 1.1）
图 4：读者研究（RePALM辅助放射科医师）
图 5：模型可解释性+生物学机制
05
研究结论
该研究通过构建多模态深度学习模型 RePALM ，整合了临床信息、治疗前MRI、活检全切片图像（WSIs）以及两个周期后的纵向MRI 数据，实现了对乳腺癌新辅助治疗（NAT）反应的早期精准预测 。研究基于2604例回顾性及72例前瞻性多中心患者验证，结果显示RePALM在回顾性与前瞻性队列中表现稳健（AUROC达0.873--0.897），两个治疗周期后即可识别约90%的非病理完全缓解（non-pCR）患者 ，为早期调整治疗策略（如转为手术或临床试验）提供了可靠依据。逐步整合多模态数据显著提升了预测性能 ，其中治疗后MRI贡献最大，活检病理次之。模型辅助可明显提高初级放射科医生的判读准确性，且RePALM评分与无事件生存期（EFS）显著相关。通过与RECIST 1.1标准联合应用 ，可对疾病稳定或部分缓解患者进行进一步风险分层 ，指导个性化管理。转录组分析揭示了模型预测所对应的生物学基础，如自噬、凋亡及微环境重塑等治疗敏感性通路富集 。该研究为乳腺癌NAT反应的早期决策支持提供了可推广的多模态人工智能工具。
参考文献：Zhang S, Shi Z, Du S, Zhu T, Li P, Zhao R, Zhu X, Wu S, Tan Y, Xu W, Li B, Li Z, Wang K, Zhang L, Tian J, Liu Z. Integration of longitudinal MRI and biopsy whole slide images for early prediction of neoadjuvant therapy response and personalized management in breast cancer: A multicenter retrospective and prospective study. Cancer Lett. 2026 Apr 13;650:218508. doi: 10.1016/j.canlet.2026.218508