学习日记59:PAVL

摘要:

半监督医学图像分割利用少量标注 + 大量无标注数据,降低放射科医生标注成本。现有半监督方法分为三类:一致性正则、伪标签、对抗学习,但存在明显缺陷:大多忽略体素级不确定性,对边界模糊、高不确定区域处理差;不同类别在特征空间区分度不足,视觉相似的组织 / 病灶容易混淆。

虽然CLIP 等视觉语言模型具备强大高层语义,可以缓解类别混淆,但其输出是粗粒度全局嵌入,丢失医学影像需要的局部精细空间结构;现有基于 CLIP 的半监督医学分割方法,没有充分挖掘无标注数据细粒度空间结构特征。本文提出 PAVL 完整框架,包含 URM、PA、EFCLIP 三大核心模块,在公开数据集与自有临床数据集取得 SOTA 结果。

方法:

Unified Representation Matching(URM)

传统半监督的师生模型,学生网络、教师网络输出的特征通道、特征分布不完全对齐。直接做知识蒸馏,在模糊边界、高不确定性体素区域效果差。URM 目标是把学生、教师的特征映射到同一个特征空间,实现体素粒度上的特征对齐,为后续学习做准备。

学生网络输出的特征Xs与教师网络输出的特征Xt,经过共享的适配器和SE注意力通道,得到标定后的特征,输入分类头h,输出体素级预测概率,之后根据这个概率计算一个对齐损失L,来使教师网络与学生网络的输出特征对齐。

两个l分别是学生网络与教师网络对应体素i的概率。

Prototype Alignment(PA)

在半监督医学分割场景下:如果直接使用全部体素去计算类别原型,会引入大量高噪声、高不确定性的体素(比如边界模糊区域),让原型偏离真实的数据分布;同时全部体素参与运算显存开销很大。传统原型方法简单对体素特征取平均,完全忽略每个体素本身的置信度 / 不确定性。医学图像存在大量边界歧义区域,普通欧氏距离只看特征向量均值,忽略特征本身的离散程度,度量效果有限。

PA核心思想:依据体素不确定性筛选高置信样本,用高斯分布建模体素特征,逆方差加权构建类别原型,使用 Wasserstein‑2 距离完成体素‑原型分布对齐,得到修正后的伪标签,用于一致性损失训练。

首先,解码器输出特征图,经过投影网络,得到每个位置的特征j(x,y),然后计算每个特征的方差,该方差可以表示该体素的置信度,方差越小,体素特征越稳定、置信度越高。

只保留方差落在这个区间内的特征,过滤掉不确定性过高(噪声)与过低(信息量不足)的体素,得到候选可靠特征集合 (M(X),只用这部分体素参与原型更新,降低噪声干扰,节省显存。

然后把体素特征建模为多元高斯分布,不再把体素仅仅看作一个向量点,而是看作一个分布:

从候选集选出方差最小的Np个体素,生成类别C的原型:

然后计算Wasserstein‑2 距离度量体素分布与原型分布的匹配度:

最后依据W2距离,对教师模型输出的伪标签进行修正,得到新的伪标签;然后计算损失,

Embedding Fusion CLIP(EFCLIP)

CLIP 预训练视觉‑语言模型擅长提取全局高层语义,但它的原始输出是粗粒度全局特征。直接把 CLIP 用在 3D 体素级医学分割会有明显短板:CLIP 缺少局部精细空间信息,难以区分视觉上很相似的体素 / 组织;CLIP 文本嵌入是全局向量,没有和每个空间位置的体素特征做结合;

EFCLIP 目标:将 CLIP 的全局文本语义先验,和学生网络输出的体素级局部空间特征做融合,通过语义对比损失对齐视觉‑文本表征,提升相似体素之间的区分能力。

具体流程为:1 分别获得CLIP文本特征与学生模型的视觉特征;2.将文本特征与视觉特征逐元素相乘,得到融合之后的全局特征;然后融合特征与文本特征做对比学习,希望来自类别j区域的融合特征,和第j类对应的文本特征相似度尽可能高;和其余类别文本特征相似度尽量低。 通过这个对比损失,校正视觉特征的语义偏移,增强细粒度分割能力。

最后将该对比损失加入到总损失中:

实验:

这篇文章的实验很少,一个主实验一个消融

相关推荐
MacroZheng2 小时前
这可能是Windows下最适合Claude Code/Codex的终端了,真的夯!
人工智能·后端·ai编程
还是奇怪2 小时前
GPT-6 Sol 与 Luna 发布后,选型还要确认什么?从官方参数到迁移验证
人工智能·gpt·openai
拜小白2 小时前
DuLa-Net vs HorizonNet:复杂房型对决
计算机视觉
WindrunnerMax2 小时前
以轻量 LoopAgent 替代 RAG 实现文档检索
人工智能·架构·github
XMAIPC_Robot2 小时前
FPGA+ARM联合调试避坑:储能电力采样数据同步、丢包问题定位与根治方案,应用于储能EMS、微网控制器中
arm开发·人工智能·fpga开发·rk3588+fpga·rk3576+fpga
AI浩2 小时前
面向视觉预训练的对象级自蒸馏
人工智能·计算机视觉
天远Date Lab2 小时前
零信任架构实战:基于天远风控经营异常预警构建自动化商业园区租户巡检网关
大数据·人工智能·架构·自动化
是翎2 小时前
无障碍自动扫描:不只是一个分数
人工智能
临床数据科学和人工智能兴趣组2 小时前
自定义缩放范围在数据分析中的应用也不少,尤其是在处理特定类型的数据时
人工智能·数据挖掘·数据分析·r语言·r语言-4.2.1