学习日记59:PAVL

摘要:

半监督医学图像分割利用少量标注 + 大量无标注数据,降低放射科医生标注成本。现有半监督方法分为三类:一致性正则、伪标签、对抗学习,但存在明显缺陷:大多忽略体素级不确定性,对边界模糊、高不确定区域处理差;不同类别在特征空间区分度不足,视觉相似的组织 / 病灶容易混淆。

虽然CLIP 等视觉语言模型具备强大高层语义,可以缓解类别混淆,但其输出是粗粒度全局嵌入,丢失医学影像需要的局部精细空间结构;现有基于 CLIP 的半监督医学分割方法,没有充分挖掘无标注数据细粒度空间结构特征。本文提出 PAVL 完整框架,包含 URM、PA、EFCLIP 三大核心模块,在公开数据集与自有临床数据集取得 SOTA 结果。

方法:

Unified Representation Matching(URM)

传统半监督的师生模型,学生网络、教师网络输出的特征通道、特征分布不完全对齐。直接做知识蒸馏,在模糊边界、高不确定性体素区域效果差。URM 目标是把学生、教师的特征映射到同一个特征空间,实现体素粒度上的特征对齐,为后续学习做准备。

学生网络输出的特征Xs与教师网络输出的特征Xt,经过共享的适配器和SE注意力通道,得到标定后的特征,输入分类头h,输出体素级预测概率,之后根据这个概率计算一个对齐损失L,来使教师网络与学生网络的输出特征对齐。

两个l分别是学生网络与教师网络对应体素i的概率。

Prototype Alignment(PA)

在半监督医学分割场景下:如果直接使用全部体素去计算类别原型,会引入大量高噪声、高不确定性的体素(比如边界模糊区域),让原型偏离真实的数据分布;同时全部体素参与运算显存开销很大。传统原型方法简单对体素特征取平均,完全忽略每个体素本身的置信度 / 不确定性。医学图像存在大量边界歧义区域,普通欧氏距离只看特征向量均值,忽略特征本身的离散程度,度量效果有限。

PA核心思想:依据体素不确定性筛选高置信样本,用高斯分布建模体素特征,逆方差加权构建类别原型,使用 Wasserstein‑2 距离完成体素‑原型分布对齐,得到修正后的伪标签,用于一致性损失训练。

首先,解码器输出特征图,经过投影网络,得到每个位置的特征j(x,y),然后计算每个特征的方差,该方差可以表示该体素的置信度,方差越小,体素特征越稳定、置信度越高。

只保留方差落在这个区间内的特征,过滤掉不确定性过高(噪声)与过低(信息量不足)的体素,得到候选可靠特征集合 (M(X),只用这部分体素参与原型更新,降低噪声干扰,节省显存。

然后把体素特征建模为多元高斯分布,不再把体素仅仅看作一个向量点,而是看作一个分布:

从候选集选出方差最小的Np个体素,生成类别C的原型:

然后计算Wasserstein‑2 距离度量体素分布与原型分布的匹配度:

最后依据W2距离,对教师模型输出的伪标签进行修正,得到新的伪标签;然后计算损失,

Embedding Fusion CLIP(EFCLIP)

CLIP 预训练视觉‑语言模型擅长提取全局高层语义,但它的原始输出是粗粒度全局特征。直接把 CLIP 用在 3D 体素级医学分割会有明显短板:CLIP 缺少局部精细空间信息,难以区分视觉上很相似的体素 / 组织;CLIP 文本嵌入是全局向量,没有和每个空间位置的体素特征做结合;

EFCLIP 目标:将 CLIP 的全局文本语义先验,和学生网络输出的体素级局部空间特征做融合,通过语义对比损失对齐视觉‑文本表征,提升相似体素之间的区分能力。

具体流程为:1 分别获得CLIP文本特征与学生模型的视觉特征;2.将文本特征与视觉特征逐元素相乘,得到融合之后的全局特征;然后融合特征与文本特征做对比学习,希望来自类别j区域的融合特征,和第j类对应的文本特征相似度尽可能高;和其余类别文本特征相似度尽量低。 通过这个对比损失,校正视觉特征的语义偏移,增强细粒度分割能力。

最后将该对比损失加入到总损失中:

实验:

这篇文章的实验很少,一个主实验一个消融

相关推荐
龙粤GEO39 分钟前
实体Entity在GEO中代表什么含义
人工智能
拜小白2 小时前
【论文解读】《DeepPanoContext:用全局场景关系图 + 可微关系优做全景 3D 场景理解
深度学习·计算机视觉·全景图
剑雨巍巍2 小时前
AI Agent面试之基础概念
人工智能
微帧Visionular2 小时前
AI视频单帧清晰,播放时却闪烁,原因是什么?
人工智能·深度学习·音视频
武子康2 小时前
MultiNet6 空闲崩溃:`EXCVADDR=0x8` 后又出现 `CORRUPT HEAP`
人工智能·后端·agent
云智慧AIOps社区2 小时前
智能巡检机器人应用场景解析:机房巡检、园区安防、管廊巡视与展厅导览
人工智能·机器人·具身智能·智能巡检机器人·企业级智能巡检机器人·机房巡检机器人·导览机器人
EnCi Zheng2 小时前
Agent 如何进行工具调用:从一次 Function Calling 到生产级工具编排的完整链路
大数据·人工智能·agent·ai编程·工具调用
赛博守夜人2 小时前
AI安全攻防与治理之十四:AI 安全测试不能脱离传统安全,Web、API、移动端与模型攻击面的组合拳
前端·人工智能·安全
lovingsoft2 小时前
AI 时代未来软件形态趋势:从固定功能应用,走向意图驱动、智能体原生的柔性系统-浅析
人工智能
GlobalInfo2 小时前
重磅发布 | 2026年船体清洁机器人行业研究报告:市场规模、发展前景与十五五战略地图
大数据·人工智能·机器人