学习日记59:PAVL

摘要:

半监督医学图像分割利用少量标注 + 大量无标注数据,降低放射科医生标注成本。现有半监督方法分为三类:一致性正则、伪标签、对抗学习,但存在明显缺陷:大多忽略体素级不确定性,对边界模糊、高不确定区域处理差;不同类别在特征空间区分度不足,视觉相似的组织 / 病灶容易混淆。

虽然CLIP 等视觉语言模型具备强大高层语义,可以缓解类别混淆,但其输出是粗粒度全局嵌入,丢失医学影像需要的局部精细空间结构;现有基于 CLIP 的半监督医学分割方法,没有充分挖掘无标注数据细粒度空间结构特征。本文提出 PAVL 完整框架,包含 URM、PA、EFCLIP 三大核心模块,在公开数据集与自有临床数据集取得 SOTA 结果。

方法:

Unified Representation Matching(URM)

传统半监督的师生模型,学生网络、教师网络输出的特征通道、特征分布不完全对齐。直接做知识蒸馏,在模糊边界、高不确定性体素区域效果差。URM 目标是把学生、教师的特征映射到同一个特征空间,实现体素粒度上的特征对齐,为后续学习做准备。

学生网络输出的特征Xs与教师网络输出的特征Xt,经过共享的适配器和SE注意力通道,得到标定后的特征,输入分类头h,输出体素级预测概率,之后根据这个概率计算一个对齐损失L,来使教师网络与学生网络的输出特征对齐。

两个l分别是学生网络与教师网络对应体素i的概率。

Prototype Alignment(PA)

在半监督医学分割场景下:如果直接使用全部体素去计算类别原型,会引入大量高噪声、高不确定性的体素(比如边界模糊区域),让原型偏离真实的数据分布;同时全部体素参与运算显存开销很大。传统原型方法简单对体素特征取平均,完全忽略每个体素本身的置信度 / 不确定性。医学图像存在大量边界歧义区域,普通欧氏距离只看特征向量均值,忽略特征本身的离散程度,度量效果有限。

PA核心思想:依据体素不确定性筛选高置信样本,用高斯分布建模体素特征,逆方差加权构建类别原型,使用 Wasserstein‑2 距离完成体素‑原型分布对齐,得到修正后的伪标签,用于一致性损失训练。

首先,解码器输出特征图,经过投影网络,得到每个位置的特征j(x,y),然后计算每个特征的方差,该方差可以表示该体素的置信度,方差越小,体素特征越稳定、置信度越高。

只保留方差落在这个区间内的特征,过滤掉不确定性过高(噪声)与过低(信息量不足)的体素,得到候选可靠特征集合 (M(X),只用这部分体素参与原型更新,降低噪声干扰,节省显存。

然后把体素特征建模为多元高斯分布,不再把体素仅仅看作一个向量点,而是看作一个分布:

从候选集选出方差最小的Np个体素,生成类别C的原型:

然后计算Wasserstein‑2 距离度量体素分布与原型分布的匹配度:

最后依据W2距离,对教师模型输出的伪标签进行修正,得到新的伪标签;然后计算损失,

Embedding Fusion CLIP(EFCLIP)

CLIP 预训练视觉‑语言模型擅长提取全局高层语义,但它的原始输出是粗粒度全局特征。直接把 CLIP 用在 3D 体素级医学分割会有明显短板:CLIP 缺少局部精细空间信息,难以区分视觉上很相似的体素 / 组织;CLIP 文本嵌入是全局向量,没有和每个空间位置的体素特征做结合;

EFCLIP 目标:将 CLIP 的全局文本语义先验,和学生网络输出的体素级局部空间特征做融合,通过语义对比损失对齐视觉‑文本表征,提升相似体素之间的区分能力。

具体流程为:1 分别获得CLIP文本特征与学生模型的视觉特征;2.将文本特征与视觉特征逐元素相乘,得到融合之后的全局特征;然后融合特征与文本特征做对比学习,希望来自类别j区域的融合特征,和第j类对应的文本特征相似度尽可能高;和其余类别文本特征相似度尽量低。 通过这个对比损失,校正视觉特征的语义偏移,增强细粒度分割能力。

最后将该对比损失加入到总损失中:

实验:

这篇文章的实验很少,一个主实验一个消融

相关推荐
VIP_CQCRE3 小时前
GPT Image 2.6 商品图换背景后悬浮?接触阴影、透明区域与反射验收
图像处理·人工智能·ai·电商
泯泷4 小时前
别再傻傻地喂文件了,大厂都在偷偷给AI建这种“专属图书馆”
人工智能
oak隔壁找我4 小时前
一款运行在 DSH(DeepSeek Harness)中的类 Postman HTTP 接口调试插件
人工智能·程序员
高洁014 小时前
数字孪生与计算机视觉:让机器看懂现场
人工智能·python·机器学习·transformer·迁移学习
Csvn5 小时前
如果明天供应商涨价 3 倍?三层解耦,换模型只改一行配置(C05)
人工智能·aigc·agent
在所不辞兄5 小时前
为什么数字孪生驱动的产线标定需要在线更新机制,而不能一次标定后长期沿用?
人工智能·神经网络·其他·算法·机器学习
锋行天下6 小时前
langgraph 全栈项目(三)
前端·人工智能·后端
黄啊码6 小时前
【黄啊码】最近面了十几个想转 FDE 的程序员,一个都没招
人工智能
锋行天下7 小时前
langgraph 全栈项目(二)
前端·人工智能·后端
大模型真好玩7 小时前
用 Seedance 2.5 Flash 实现1分钟AI短剧,满足孩子的超级英雄对战梦
人工智能·aigc·deepseek