01
文献信息
本次分享的文献是由波士顿大学医学院Vijaya B. Kolachalama教授等团队于2025年8月在《Nature Communications》（中科院1区，IF=15.7）上发表的研究"AI-driven fusion of multimodal data for Alzheimer's disease biomarker assessment"即基于人工智能的多模态数据融合用于阿尔茨海默病生物标志物评估，本研究提出了一个基于Transformer架构的多模态机器学习框架 ，利用临床、影像学、遗传学和神经心理学等多源数据，预测阿尔茨海默病（AD）患者的淀粉样蛋白（Aβ）和tau蛋白病理状态，从而在无需PET扫描的情况下估计脑内病理负荷，支持早期筛查与临床试验分层。
02
研究背景及目标
研究背景
1.研究问题
AD的生物学诊断依赖Aβ斑块和tau缠结的检测，目前金标准为PET成像，但存在两大核心局限：
- 可及性差：PET设备昂贵、检查成本高，难以在常规临床中普及；
- 替代标志物不足：脑脊液（CSF）检测虽对Aβ敏感但无法分期，血浆生物标志物（如p-tau217）难以准确预测tau分布且受非神经因素（如BMI、心血管健康）干扰；
- 现有模型缺陷：既往机器学习（ML）模型多聚焦单一生物标志物（Aβ或tau）、样本量小（缺乏外部验证）、依赖完整特征集（无法处理临床数据缺失）。
2.研究难点
- 多模态数据整合：AD临床数据类型异质（影像、认知评分、基因等），需解决不同模态的特征对齐与融合问题；
- 数据缺失处理：真实临床场景中患者常缺乏部分检查数据（如部分队列无MRI），模型需具备鲁棒性；
- 病理关联性验证：预测结果需与AD的生物学进展（如tau沉积空间模式、死后病理）对齐，确保临床意义。
3.解决思路
- 采用多模态融合策略：整合临床常规可获取的数据（如MRI、神经心理评分），减少对PET的依赖；
- 设计Transformer-based框架：利用注意力机制捕捉模态间关联，通过随机特征掩码处理数据缺失；
- 构建两阶段预测任务：先预测全局Aβ和meta-τ状态，再微调预测区域tau分布，兼顾全局诊断与局部病理特征；
- 多维度验证：结合外部队列、PET量化指标、死后病理验证模型可靠性。
研究目标
- 开发一种能整合多模态数据的机器学习框架，同时预测AD患者的全局Aβ和tau（meta-τ及区域）PET阳性状态；
- 验证模型预测结果与Aβ/tau的生物学梯度（如PET的centiloid值、SUVr）、疾病分期（A-T-M-N系统）的一致性；
- 确认模型识别的脑区体积重要性与tau沉积的已知空间模式（如Braak分期）对齐；
- 提供一种可规模化应用的AD预筛选工具，降低对PET的依赖，优化临床试验入组效率。
03
模型架构
模型架构
整体采用"多模态嵌入+Transformer编码器+两阶段任务微调"的端到端架构，核心特点是灵活性（处理缺失数据）和协同性（联合预测Aβ与tau），具体结构如下：
1.输入层：多模态数据嵌入
针对7类临床数据（人口统计学、病史、神经心理评估、APOE-ε4基因型、MRI影像、脑脊液/血浆生物标志物），采用模态特异性嵌入策略，将异质数据统一转为固定长度向量：
非影像数据（如年龄、认知评分）：直接通过线性嵌入层转为向量；
MRI影像数据：采用两种处理方式------
T1加权图像经FastSurfer分割得到脑区体积特征，再嵌入为向量；
FLAIR、T2*序列经Swin UNETR（3D医学影像特征提取网络）提取空间特征，输出768×8×8×8维度的嵌入向量；
缺失数据处理 ：通过随机特征掩码（Random Feature Masking）实现------对每个样本随机屏蔽部分特征，迫使模型不依赖单一数据类型，适配真实临床中数据不完整的场景。
2.核心层：预训练Transformer编码器
采用预训练的Transformer作为特征融合核心，负责整合所有模态的嵌入向量：
利用Transformer的注意力机制，自动学习不同模态（如MRI与认知评分）对Aβ/tau预测的权重贡献；
继承自此前用于痴呆鉴别诊断的预训练模型权重，仅微调与AD生物标志物相关的模块，降低训练成本。
3.输出层：两阶段任务微调
分阶段实现"全局预测→区域预测"的递进式任务，避免单任务训练的偏差：
第一阶段 ：预测全局Aβ状态 （PET阳性/阴性）和meta-τ状态（内侧+新皮质颞区的tau总负担），输出两类概率（P(Aβ)、P(meta-τ)）；
训练初期冻结预训练Transformer权重，仅更新输出层；15个epoch后解冻全部权重，联合优化；
第二阶段 ：在第一阶段基础上，微调预测6个脑区的tau状态（内侧颞叶、外侧颞叶、内侧顶叶、外侧顶叶、额叶、枕叶），输出各区域tau阳性概率，匹配AD中tau的空间扩散模式（从颞叶到neocortex）。
04
数据和方法
数据处理：大规模cohorts与标准化
数据规模与来源：整合7个独立队列共12,185名参与者（训练集10,352人，测试集1,833人，含ADNI、NACC、OASIS3等权威数据集），确保样本多样性；
PET数据标准化：
AβPET：统一转为"centiloid（CL）"指标（阈值24CL定义阳性），不同示踪剂（如11C-PiB、18F-florbetapir）通过线性回归校正；
tauPET：用ComBat工具消除队列间的技术差异，通过高斯混合模型（GMM）设定各脑区阳性阈值（如meta-τ阈值1.37SUVr）；
数据拆分：训练集按8:2分层拆分（保持Aβ/tau阳性率一致），测试集采用外部队列（ADNI、HABS）和死后病理队列，避免过拟合。
训练策略：损失函数与优化器
损失函数 ：采用Focal Loss解决"tau阳性样本少"的类别不平衡问题------对难分类样本（如tau阳性）赋予高权重，对易分类样本（如健康人）赋予低权重，公式中通过α（类别平衡参数）和γ（聚焦参数，设为2）调节；
优化器与调度：使用AdamW优化器（第一阶段学习率0.001，权重衰减0.01；第二阶段学习率0.0001，权重衰减0.005），配合余弦学习率调度，避免训练后期震荡。
模型验证：多维度生物学验证
不仅评估预测性能，更验证与AD病理机制的一致性：
性能验证：在外部测试集上，Aβ预测AUROC=0.79、meta-τ预测AUROC=0.84，区域tau预测宏平均AUROC=0.80，优于传统ML模型（如CatBoost，区域tau宏平均AUROC=0.77）；
生物学一致性验证：
预测概率与PET定量指标相关（P(Aβ)与CL值r=0.58，P(τ)与tau SUVrr=0.59）；
与死后病理匹配（Thal淀粉样变阶段、Braak tau阶段越高，P(Aβ)/P(τ)显著越高）；
脑区重要性与tau扩散模式一致（Shapley分析显示内侧颞叶权重最高，符合AD中tau从颞叶起始的扩散规律）；
亚组验证：在认知正常人群中仍能区分Aβ阳性/阴性（Mann-Whitney U检验p<0.0001），支持早期筛查。
05
实验结果图
Fig.2：模型预测Aβ和tau阳性的性能
a/b为ROC/PR曲线（Aβ AUROC=0.79、AP=0.78；meta-τ AUROC=0.84、AP=0.60）；c/d热图显示特征添加（MRI、神经心理测试显著提升性能）与移除（移除神经心理测试使tauAP降为0.53）的影响；e/f为区域tau预测曲线（宏平均AUROC=0.80、AP=0.42，内侧颞叶AP最高）。
Fig.3：模型与生物学结果的对齐
a/b显示P(Aβ)与Aβ PET centiloid（r=0.58）、P(τ)与meta-τ SUVr（r=0.59）均显著正相关，且与认知障碍（ADAS-Cog13）同步加重；c证明模型可区分认知正常人群的Aβ PET状态；d显示AT分数随AD分期（A-T-→A+NEO+）显著递增。
Fig.4：模型捕捉Aβ与tau的协同关系
a/b验证tau/Aβ负荷越高，模型预测的P(Aβ)/P(τ)也越高；c对比Aβ+τ+与Aβ-τ-组，前者P(Aβ)、P(τ)显著更高，且tau概率分布更分散。
Fig.5：模型与tau PET的脑区网络社区
基于Shapley值的模型脑区网络，与tau PET SUVr网络的社区一致性显著（AMI=0.134-0.288，外侧顶叶最高），证明模型识别的脑区关联符合真实tau沉积模式。
Fig.6：模型与死后病理结果的对齐
随Thal分期、Braak分期、CERAD评分及CAA严重程度升高，P(Aβ)、P(τ)显著递增（所有p<0.0001），与AD病理金标准高度一致。
06
结论
本研究开发了一种基于Transformer的多模态人工智能框架，能够整合临床、神经心理、遗传及MRI等易获取数据，精准预测个体Aβ与tauPET阳性状态（AUC分别达0.79与0.84）。模型不仅展现出与PET定量指标、病理分级及认知评分的高度一致性，还能有效捕捉Aβ与tau的协同病理关系。其创新性在于采用随机特征掩码机制处理现实世界中不完整数据，并通过区域tau预测与空间分析增强了生物学可解释性。该研究为阿尔茨海默病的低成本、规模化筛查提供了可行方案，显著降低对昂贵PET的依赖，在临床试验预筛和患者分层方面具有重要转化潜力，尤其适用于医疗资源有限场景。尽管在人群泛化性和非AD鉴别方面仍需进一步验证，但本研究为实现精准、普惠的AD早期评估迈出了关键一步。
07
讨论
创新方向
联合预测而非单独建模：首次同时预测Aβ和tau状态，捕捉二者在AD病理中的协同关系（如Aβ阳性者tau负荷越高，P(Aβ)也越高），弥补既往模型"单标志物聚焦"的缺陷；
大样本多队列整合：基于12185名参与者（7个队列），且通过外部队列（ADNI/HABS）验证，解决既往模型"小样本、缺外部验证"的问题；
可解释性增强：通过Shapley分析和空间网络对比，证明模型决策与AD病理机制（如tau沉积模式）对齐，而非"黑箱"预测；
缺失数据鲁棒性：随机特征掩码策略使模型在特征缺失（如ADNI队列少54%特征）时仍维持高准确率，适配真实临床场景。
临床价值
降低医疗成本：通过高NPV筛选，减少不必要的PET检查（如Aβ模型可节省587例PET费用），减轻患者经济负担与医疗资源消耗；
优化临床试验：高PPV（Aβ模型62.05%、tau模型52.40%）可精准识别高风险患者，提高临床试验入组效率（如减少95%的AD药物研发失败率相关成本）；
支持个性化治疗：区域tau预测可区分AD亚型（如内侧颞叶型vs新皮质型），为tau靶向疗法的个体化用药提供依据；
早期筛查：可在认知正常人群中识别Aβ阳性个体（预临床AD），为早期干预争取窗口。
局限性
样本代表性不足：队列以白人为主，缺乏非裔、亚裔等少数族裔数据，模型在多元化人群中的泛化性待验证；
疾病鉴别局限：未纳入非AD痴呆（如额颞叶痴呆、路易体痴呆）病例，无法区分AD与其他tau相关疾病；
PET阈值二进制化：采用固定阈值（如Aβ=24 centiloid）定义阳性，未利用PET连续值（如centiloid梯度），可能损失疾病分期细节；
血浆生物标志物整合不足：训练集中仅255例有血浆数据，无法充分验证血浆标志物（如p-tau217）的补充价值。
技术亮点
Transformer注意力机制：高效捕捉多模态数据（如MRI与认知评分）间的关联，优于传统ML（如CatBoost）的单模态特征拼接；
两阶段训练策略：先全局后区域的预测逻辑，既保证核心生物标志物（Aβ/tau）的全局诊断准确性，又细化局部病理特征；
多维度验证体系：从"性能指标→生物学关联→病理验证"形成闭环，确保模型的临床可靠性而非纯算法优化。