【CVPR26-雷涛-陕西科技大学陕西省人工智能联合实验室】SPEGC：基于语义提示增强图聚类的医学图像分割持续测试时自适应

文章：SPEGC: Continual Test-Time Adaptation via Semantic-Prompt-Enhanced Graph Clustering for Medical Image Segmentation

单位：陕西科技大学陕西省人工智能联合实验室

医学图像分割是AI辅助诊断的核心技术，能精准勾勒出眼底视神经、肠道息肉、心脏组织等关键区域，但域偏移问题严重阻碍了模型的临床部署。简单来说，模型在A医院的设备、标注数据上训练，到B医院用不同扫描仪、不同采集协议的图像做检测，效果会显著下降。

更贴合临床的痛点是，测试数据并非批量输入，而是单张、连续的流数据，这就要求模型实现持续测试时自适应（CTTA） ：一边处理新图像，一边自适应新数据分布，同时还要避免两个致命问题------错误累积 （越适配越出错）和灾难性遗忘（适配新数据后，忘了原本的核心分割能力）。

而现有CTTA方法要么依赖像素级的不可靠监督信号，要么冻结核心模型参数仅做轻量适配，适配能力弱、抗干扰性差，始终无法很好地平衡适配效果和模型稳定性。

为解决上述问题，研究团队提出了基于语义提示增强图聚类的持续测试时自适应框架（SPEGC），核心思路是"先增强特征抗干扰性，再用结构化特征指导模型自适应"，设计了两大核心模块，配合联合优化策略实现端到端的模型适配，整体流程层层递进、环环相扣：

语义提示特征增强模块（SPFE） ：先通过MC Dropout量化图像特征的不确定性，筛选出稳定的核心特征；再设计解耦的通用提示池和专属提示池，前者提取跨医院、跨设备的通用语义知识，后者捕捉特定数据的专属特征，通过注意力和反向注意力机制，将两类全局信息注入局部特征，有效缓解域偏移下的噪声干扰，让特征更稳定、更具代表性。
可微分图聚类求解器（DGCS） ：将增强后的特征转化为图节点，先计算节点间的相似度矩阵，再把图聚类的离散问题转化为最优运输问题，通过Sinkhorn算法实现全局边稀疏化，蒸馏出精炼的高阶结构相似度矩阵，让特征形成清晰的语义聚类（比如视神经特征归为一类、息肉特征归为一类）。
联合优化策略：设计图一致性损失和聚类损失双目标函数，前者保证同一聚类内的特征分割预测一致，动态调整模型决策边界；后者约束通用提示池的语义稳定性，强制模型保留跨域核心知识，从结构和语义两层避免错误累积和灾难性遗忘。

研究团队在眼底视盘/视杯分割 和肠道息肉分割两大经典医学图像分割任务上开展了全面实验，还拓展到3D心脏MRI分割任务，对比了6种当前主流的CTTA方法，结果亮眼：

基础分割性能领先：在两个2D任务中，SPEGC的平均DICE相似度系数（分割核心指标）均大幅超越SOTA方法，其中眼底分割比次优方法提升1.49%；息肉分割中，部分依赖熵最小化的方法甚至不如无适配基线，而SPEGC凭借数据结构指导，始终保持高分割精度。
长期持续适配能力突出：在五轮长期持续适配测试中，SPEGC实现了83.10%的平均DSC，为所有方法最优，同时仅出现1.27%的性能衰减，有效缓解了错误累积和灾难性遗忘，远优于梯度对齐、熵最小化等方法。
模块有效性验证：消融实验证明，移除语义提示或图聚类模块后，模型性能会显著下降，而通用+专属的解耦提示池、低不确定性特征采样，是提升模型性能的关键。
泛化性强：在混合分布偏移的极端场景（打乱所有目标域数据顺序输入）中，SPEGC仍保持最高分割精度；拓展到3D心脏MRI分割时，相比无适配基线，各组织分割的DSC均有明显提升，边界分割的平均对称表面距离也显著降低。
超参数鲁棒性好：核心超参数（聚类数、提示数、损失平衡系数）在合理范围内调整时，模型性能稳定，最优配置下能平衡分割效果和计算效率。

SPEGC的可微分图聚类求解器需要构建并精炼特征图的相似度矩阵，计算成本相比轻量型适配方法更高，特征池规模增大时，计算量和GPU显存占用会呈二次方增长，在算力有限的临床设备上部署会受到一定限制。

SPEGC通过语义提示增强特征鲁棒性、可微分图聚类挖掘数据结构信息，实现了医学图像分割模型在连续测试数据中的高效、稳定持续自适应，有效解决了域偏移下的错误累积和灾难性遗忘问题，为医疗AI的临床实际部署提供了新的有效方案。