01
文献学习
今天分享的文献是由中山大学第五附属医院曹庆东、中山大学孙逸仙纪念医院陈柏深等团队 于2025年10月在**《Journal for ImmunoTherapy of Cancer》（中科院1区top，IF=10.6）** 上发表的研究"Attention-guided framework for integrative omics and temporal dynamics in predicting major pathological response in neoadjuvant immunochemotherapy for NSCLC"即基于注意力机制的整合组学与时间动态预测非小细胞肺癌新辅助免疫化疗主要病理缓解的框架，该研究开发了一种基于Transformer的多模态融合模型（Trans-Model），整合了影像组学、病理组学和时间动态数据 ，用于预测局部晚期非小细胞肺癌（NSCLC）患者在接受新辅助免疫化疗后的主要病理缓解（MPR）。模型在外部测试队列中AUC达到0.858，显著优于单一模态模型，并能有效分层患者的生存预后，展现出良好的临床实用价值。
创新点：①融合多时序、多序列影像与病理组学 ，基于Transformer注意力机制 实现多模态特征高效整合。②首次在NSCLC新辅助免疫化疗中 ，联合GAN增强影像 与时序动态特征 构建预测模型。③构建多组学融合框架 ，将放射组学、深度学习特征与病理组学统一降维与交互建模，提升预测性能。
临床价值：①实现MPR精准预测 ，辅助筛选免疫化疗获益患者 ，避免无效治疗与不良反应。②模型预测结果与生存显著相关 ，为个体化治疗决策 和预后分层 提供依据。③多中心外部验证证实泛化能力 ，有望融入临床路径，优化肺癌围术期治疗策略。
图 2：研究整体工作流程图
预处理阶段
数据：治疗前/后双时间点、肺窗/纵隔窗双序列CT（共4序列）+手术病理全切片（WSI）
处理：肿瘤ROI分割→GAN 超分辨率重建（1×1×1mm→0.25×0.25×1mm）
Step1：Rad-Model构建
4序列CT提取1834个放射组学特征→Transformer融合→放射组学模型
Step2：ViT-Model&Tempo-Model构建
CT提取2048个深度学习特征→Transformer融合→ViT-Model
放射组学+深度学习特征PCA降维（32主成分）→Transformer融合→Tempo-Model （时序影像模型）
Step3：Patho-Model构建
WSI切分为512×512像素块→Vision Transformer提取特征→多实例学习（直方图+TF-IDF）聚合→206 个病理组学特征→病理组学模型
Step4：Trans-Model构建
放射组学+深度学习+病理组学特征均PCA降维至32主成分→Transformer注意力融合→最终多组学模型（Trans-Model）
02
研究背景和目的
研究背景
非小细胞肺癌（NSCLC）患者在接受新辅助免疫化疗后，虽然病理缓解率有所提升，但并非所有患者均能从中获益 。目前临床常用的生物标志物如程序性死亡配体1（PD-L1）表达水平，难以准确筛选出真正有效的响应人群 。传统影像学评估（如CT）在判断治疗反应方面存在局限性，例如假性进展或淋巴细胞浸润导致的影像学稳定状态，可能掩盖实际的病理缓解情况。近年来，人工智能在医学影像分析中的应用虽已取得进展，但多数研究仍局限于单一时间点的影像数据 ，未能充分利用治疗前后肿瘤动态变化所蕴含的关键信息。此外，尽管多组学数据（如病理组学）具有提升预测精度的潜力，但其与新辅助免疫化疗疗效预测的结合仍缺乏系统性的探索。因此，亟需构建一种能够整合多模态、多时序数据的预测模型，以更精准地识别潜在受益患者，从而优化治疗决策并避免不必要的毒副反应。
研究目的
本研究旨在开发一种基于注意力机制的多组学融合框架 ，用于预测局部晚期非小细胞肺癌患者在新辅助免疫化疗后的主要病理缓解（MPR） 。研究通过整合多序列、多时间点的CT影像数据 与手术标本的全切片病理组学特征 ，构建一个能够捕捉肿瘤在治疗前后动态变化的综合性预测模型。具体而言，研究首先利用生成对抗网络提升CT图像分辨率，随后分别提取影像组学与深度学习特征，并结合病理组学特征，采用基于Transformer的注意力机制 实现多源数据的有效融合。通过在多中心队列中进行训练与外部验证，研究系统评估了该模型在MPR预测中的性能，并进一步分析其与患者长期生存（如总生存期和无进展生存期）的关联，最终目标是为临床提供一种可解释性强、预测准确性高的工具，助力实现非小细胞肺癌新辅助免疫化疗的个体化精准治疗。
03
数据和方法
研究数据
总样本量：271例（IB--III期NSCLC）
数据来源：三个医疗中心（2018--2024年）
Center 1：118例（训练70%，验证30%）
Center 2：89例
Center 3：64例（后两者合并为外部测试集）
数据类型：多序列CT影像（治疗前后）、病理全切片图像（WSI）、临床病理资料
图 1：患者筛选流程图
技术方法
影像预处理：
GAN超分辨率重建（提升至0.25×0.25×1 mm³）
ROI手动分割
特征提取：
影像组学：1834个特征
深度学习特征：ViT提取2048个特征
病理组学：WSI分割为512×512 patches，经ViT预测后使用直方图与BoW方法聚合
模型构建：
使用PCA将每组特征降至32维
Transformer架构（自注意力+交叉注意力）融合多模态特征
构建模型：
Rad-Model（仅影像组学）
ViT-Model（仅DL特征）
Patho-Model（仅病理组学）
Tempo-Model（影像组学+DL特征）
Trans-Model（影像组学+DL特征+病理组学）
评估指标：AUC、NRI、IDI、DCA、校准曲线、DeLong检验、Kaplan-Meier生存分析
04
实验结果
Trans-Model 表现最优：
外部测试集AUC = 0.858（95% CI: 0.783--0.933）
优于 Rad-Model（0.839）、Patho-Model（0.753）
生存分层：
Trans-Model预测的MPR阳性患者3年OS为87.3% vs 76.1%（p=0.034）
5年PFS为45.8% vs 34.7%（p=0.033）
DCA分析：显示Trans-Model在中低风险区域具有较高临床净收益
局限性：
在高风险区域预测能力不足
NRI/IDI部分指标为负，提示高风险区域表现受限
图 3：测试集各模型预测性能评估
图 4：病理组学模型性能评估
图 5：测试集Kaplan-Meier生存分析
05
研究结论
该研究构建了一种基于Transformer架构的多组学融合模型（Trans-Model） ，用于预测局部晚期非小细胞肺癌患者在新辅助免疫化疗后的主要病理缓解（MPR） 。模型整合了多时序、多序列的CT影像组学特征、深度学习特征以及病理组学特征 ，通过自注意力和交叉注意力机制实现多模态数据的有效融合。在外部测试队列中，Trans-Model的AUC达到0.858 ，显著优于单一模态模型（如Patho-Model的0.753）。更重要的是，该模型在生存分层 方面表现出良好能力：预测为MPR阳性的患者3年总生存率为87.3% ，显著高于阴性组的76.1%（p=0.034），5年无进展生存率亦呈现类似优势（45.8% vs 34.7%，p=0.033）。决策曲线分析进一步验证了其临床实用性 。尽管研究存在样本量有限、回顾性设计、人工标注主观性等局限，但该模型通过多源数据融合与时序动态建模 ，显著提升了MPR预测精度，为NSCLC新辅助治疗中的个体化决策与疗效评估提供了有力工具。
参考文献：Gan X, He J, Zhang W, Chen W, Liu S, Li W, Duan X, Lv L, Liang Y, Cao Q, Chen B. Attention-guided framework for integrative omics and temporal dynamics in predicting major pathological response in neoadjuvant immunochemotherapy for NSCLC. J Immunother Cancer. 2025 Oct 23;13(10):e012526. doi: 10.1136/jitc-2025-012526.