CVPR 2026 | 告别伪标签与熵最小化！SPEGC：基于语义提示与图聚类的医学图像连续测试期自适应
论文题目 ：SPEGC: Continual Test-Time Adaptation via Semantic-Prompt-Enhanced Graph Clustering for Medical Image Segmentation
发表出处 ：arXiv 2026
作者机构 ：Xiaogang Du, Jiawei Zhang, Tongfei Liu, Tao Lei, Yingbo Wang (陕西科技大学，陕西省人工智能联合实验室)
关键词：Continual Test-Time Adaptation (CTTA), Medical image segmentation, Graph Clustering, Semantic Prompts
1. 🚀 省流版摘要 (TL;DR)
在真实的临床环境中，医学图像数据往往以连续数据流 的形式出现，且数据分布不断变化。现有的连续测试期自适应（CTTA）方法大多依赖于模型自身的预测置信度（如熵最小化）或伪标签，这在面对严重的领域偏移时极易引发"错误累积"和"灾难性遗忘"。为了打破这一困境，本文提出了一种全新的框架 SPEGC 。该方法放弃了不可靠的像素级监督，转而利用语义提示增强（SPFE）和可微图聚类（DGCS），从数据内部提取高阶的结构信息来指导模型的自我调节。在眼底图像、息肉分割以及3D心脏MRI分割任务中，SPEGC 全面超越了现有的 SOTA 方法，展现出了极强的抗遗忘能力和泛化性！
2. 🧐 背景与痛点 (Motivation)
- 现有问题：预训练的医学图像分割模型在遇到不同医院、不同设备的测试数据时，性能会大幅下降（Domain Shift）。
- 传统 CTTA 方法的局限 ：
- 基于熵最小化/伪标签的方法（如 SAR, GraTa） ：在目标域数据特征不明显时（例如息肉分割任务中，病灶隐蔽且形态各异），模型容易产生过度自信的错误预测。基于这些错误预测进行梯度更新，会导致严重的错误累积（Error Accumulation），甚至表现不如完全不适应的 Baseline（No Adapt）。
- 基于输入层提示的方法（如 VPTTA）：虽然冻结了骨干网络参数，缓解了遗忘问题，但仅在输入空间学习轻量级提示，面对严重的领域偏移时显得"心有余而力不足"，无法有效捕捉深层的高阶语义结构。
- 本文的切入点 ：作者认为，与其相信模型在未知领域那"脆弱的置信度"，不如相信数据本身内在的高阶聚类化结构（High-order structural abstractions）。如果能构建一个图结构，让具有相似语义的节点（像素/特征）在特征空间中聚拢，就能提供更稳定、更鲁棒的监督信号。
3. 💡 核心方法 (Methodology)
SPEGC 框架主要由两大核心模块组成：语义提示特征增强（SPFE） 和 可微图聚类求解器（DGCS）。
3.1 语义提示特征增强 (SPFE: Semantic Prompt Feature Enhancement)
在未知的目标域中，局部特征往往充满噪声。为了让特征更鲁棒，作者设计了一个双路提示池机制：
- 不确定性采样：首先通过 MC Dropout 评估预测的不确定性，只挑选出最稳定、不确定性最低的节点来构建图。
- 解耦的提示池 ：
- 共性提示池 (Commonality Prompt, (P_{CO}))：利用反向注意力机制，提取跨领域的共享核心语义（跨域不变特征）。
- 异质性提示池 (Heterogeneity Prompt, (P_{HE}))：利用标准注意力机制，提取当前样本特有的、用于区分不同类别的领域特定特征。
- 特征融合：将这两种全局上下文信息注入到局部的节点特征中，得到增强后的特征 (V_i^*)，从而有效抵御领域偏移带来的噪声干扰。
3.2 可微图聚类求解器 (DGCS: Differentiable Graph Clustering Solver)
拿到增强的特征后，如何构建图并进行优化？
- 痛点：传统的图分割（如生成最小生成树）是离散的、不可微的，无法用于深度学习的端到端反向传播。
- 创新转化 ：作者极其巧妙地将"图边缘稀疏化"问题重新表述为最优传输问题（Optimal Transport Problem）。
- Sinkhorn 算法求解 ：通过引入熵正则化项，利用并行且完全可微的 Sinkhorn 算法，将原本充满噪声的全局相似度矩阵，提炼成一个能够反映真实语义聚类结构的"软"边缘相似度矩阵 (S^*)。
3.3 联合优化损失 (Loss Functions)
- 图一致性损失 ((L_G))：利用 DGCS 提炼出的图结构 (S^*) 作为监督信号，强制要求结构上相似的两个节点，其语义预测也必须保持一致（通过 KL 散度约束）。
- 聚类损失 ((L_C))：约束共性提示池，迫使模型在连续的测试数据流中记住核心的共享语义，有效防止灾难性遗忘。
4. 📊 实验与结果 (Experiments)
- 数据集 ：
- OD/OC（视盘/视杯）分割：包含 5 个不同中心的眼底图像数据集。
- 息肉分割：包含 4 个不同中心的肠镜数据集（难度极大，形态变异剧烈）。
- M&MS 3D 心脏分割：包含 4 个不同厂商的 MRI 数据集。
- 对比实验 ：
与 SAR, DomainAdaptor, NC-TTT, VPTTA, GraTa, TTDG 等 6 种前沿方法对比。- 惊艳的表现 ：在 OD/OC 任务上，SPEGC 平均 Dice 达到 84.37% ；在极具挑战的息肉分割任务上，基于熵的方法（如 SAR）性能崩溃（68.84%，低于 No Adapt 的 71.49%），而 SPEGC 依然稳健，达到 78.00% 的 SOTA 表现。
- 长程连续自适应 (L-CTTA) ：
在连续 5 轮的循环测试中，SPEGC 展现了极强的抗遗忘能力，源域性能退化（Degradation）仅为 1.27%，而基于梯度对齐的 GraTa 退化了 3.52%。 - 混合分布偏移 (Mixed Distribution Shifts) ：
在将所有目标域数据随机打乱的极端流式场景下，SPEGC 依然保持了最高的平均 DSC，证明了其面对无序、剧烈分布变化的鲁棒性。
5. 🧠 笔者思考与总结 (Conclusion & Thoughts)
- 优点总结 ：
这篇文章的数学品味非常高。它跳出了 CTTA 领域长期依赖的"伪标签"和"熵最小化"的窠臼，指出**"数据的内在结构比模型的盲目自信更可靠"**。将离散的图聚类转化为可微的最优传输问题（Sinkhorn），不仅在理论上十分优美，在实际的息肉分割这种困难任务上也展现出了降维打击般的稳定性。解耦的提示池设计也为缓解灾难性遗忘提供了很好的思路。 - 潜在局限 ：
正如作者在结论中所坦诚的，显式的图构建和 Sinkhorn 求解带来了较高的计算复杂度。相比于仅更新 Prompt 的轻量级方法，SPEGC 构建 (V \times V) 的相似度矩阵在节点数较多时会显著增加显存占用（VRAM）和推理时间（FLOPs）。 - 未来展望 ：
未来的工作可以考虑引入图稀疏化技术（Graph Sparsification）或更高效的线性复杂度 Transformer/Attention 机制来降低图构建的计算成本，使其在实时性要求极高的临床手术流（如内窥镜实时分割）中更具落地价值。