Work【2】:PGP-SAM —— 无需额外提示的自动化 SAM!

文章目录

  • 前言
  • Abstract
  • Introduction
  • Methods
    • [Contextual Feature Modulation](#Contextual Feature Modulation)
    • [Progressive Prototype Refinement](#Progressive Prototype Refinement)
    • [Prototype-based Prompt Generator](#Prototype-based Prompt Generator)
  • Experiment
    • Datasets
    • [Implementation Details](#Implementation Details)
    • [Results and Analysis](#Results and Analysis)
    • [Ablation Study](#Ablation Study)
  • 总结

前言

和大家分享一下我们发表在 ISBI 2025 上的论文:PGP-SAM: Prototype-Guided Prompt Learning for Efficient Few-Shot Medical Image Segmentation。

欢迎大家在 arxiv 上阅读:
PGP-SAM: Prototype-Guided Prompt Learning for Efficient Few-Shot Medical Image Segmentation

代码已经开源!!!期待您的 Star!!!
PGP-SAM


Abstract

Segment Anything Model (SAM) 展现了强大且多功能的图像分割能力,并支持直观的提示交互。然而,将SAM定制应用于医学图像分割需要大量像素级标注和精确的点/框提示设计。为解决这些挑战,我们提出了 PGP-SAM ------一种基于原型的新型少样本调优方法,通过有限样本替代繁琐的手动提示设计。核心思想是利用类间和类内原型捕获类别特异性知识与关联关系。我们提出两个关键组件:(1) 即插即用的上下文调制模块,用于融合多尺度信息;(2) 类别引导的交叉注意力机制,通过原型与特征融合实现自动提示生成。在公开多器官数据集和私有脑室数据集上的实验表明,PGP-SAM 仅使用 10% 的 2D 切片即可超越现有无提示 SAM 变体的平均 Dice 分数。


Introduction

医学图像分割旨在实现对特定感兴趣区域(如组织、器官)的精准识别与轮廓勾画,为医生提供可靠的诊断依据和有效的治疗规划[1,2]。然而,实现精确分割通常需要大量标注数据,其收集与标注过程需要耗费大量时间、专业知识和资源。

分割一切模型(Segment Anything Model, SAM)凭借强大的分割能力和用户友好的提示交互机制,为图像分割领域带来了重大突破。然而,其在零样本医学图像分割中的表现被多项研究证实存在不足,这促使研究者探索如何有效适配SAM至医学领域。当前主流方法侧重于通过微调SAM的图像编码器来提升医学图像分割性能,同时保留其交互特性。这些方法在测试阶段常依赖真实标注数据生成提示。此外,针对SAM的无提示微调方法开始涌现,但这类方法对医学知识的利用尚不充分。尽管取得了显著进展,现有工作仍面临两大挑战:

  • (1) 由于自然图像与医学图像存在显著领域差异,全参数或编码器重点微调需要大量标注医学数据;
  • (2) SAM对输入点/框提示具有高度敏感性,即使提示存在细微偏差也会显著影响结果,这要求在训练和测试阶段必须设计精确的提示。

为应对这些挑战,H-SAM 采用两阶段分层掩码解码器并冻结图像编码器,该策略仅需 10% 的可用样本即可快速整合医学知识。然而,由于可学习参数量较大,H-SAM在有限数据下仍难以有效学习类别特异性信息。

基于上述少样本设定,我们提出 PGP-SAM(原型引导提示学习 SAM),旨在通过原型学习快速迁移类别特异性知识及器官关联关系。PGP-SAM包含两组原型:类内原型(intra-class prototypes)与类间原型(inter-class prototypes),分别学习 CT 图像中器官的类别特异性表征知识和共享知识。这些原型通过梯度反向传播在训练过程中更新。PGP-SAM 包含两个核心模块:(1) 上下文特征精炼模块(Contextual Feature Refinement),通过通道与空间维度的上下文融合使特征聚焦于感兴趣区域;(2) 渐进式原型优化模块(Progressive Prototype Refinement),通过将每个类内原型与最相似的类间原型匹配,并与图像特征、类别特征交互,最终生成增强型原型以产生精确提示。借助原型机制,我们能够从少量数据中学习核心特征。本方法在公开数据集和私有数据集上均取得优异结果,同时仅引入极少量额外参数。

总结而言,我们的主要贡献包括:

  • 提出高效的上下文融合机制,帮助模型更好地学习全局信息
  • 设计基于原型的提示编码器,无需额外知识即可为SAM提供精确提示
  • 在公开与私有数据集上均达到最先进性能

Methods

本节通过微调 SAM 的图像编码器介绍 PGP-SAM 模型。该模型包含多尺度原型引导提示生成器和共享权重的掩码解码器,整体架构如下图所示。

Contextual Feature Modulation

图像编码器提取的特征通常包含丰富的空间细节,但缺乏全局语义理解。受前人工作[15]启发,我们提出上下文特征调制机制(Contextual Feature Modulation, CFM),在空间和通道维度将全局语义信息注入多尺度特征。

给定每个阶段输入特征 F i ∈ R H × W × C F_{i}\in \mathbb{R}^{H\times W\times C} Fi∈RH×W×C(其中 i ∈ { 1 , 2 } i\in\{1,2\} i∈{1,2}),我们分别在空间和通道维度进行增强。此处采用第一和第四图像块[16]后的特征。在空间维度,通过对高度和宽度方向进行平均池化并求和得到 F s ∈ R H × W × C F_{s}\in \mathbb{R}^{H\times W\times C} Fs∈RH×W×C,进而计算空间特征调制矩阵 F i s ∈ R H × W × C F_{i}^{s}\in \mathbb{R}^{H\times W\times C} Fis∈RH×W×C:

F i s = F i ⊙ δ ( φ k × 1 ( ϕ ( φ 1 × k ( F s ) ) ) ) ( 1 ) F_{i}^{s}=F_{i}\odot\delta(\varphi_{k\times 1}(\phi(\varphi_{1\times k}(F_{s})))) \qquad(1) Fis=Fi⊙δ(φk×1(ϕ(φ1×k(Fs))))(1)

其中 φ \varphi φ 表示条带卷积, k k k 为卷积核尺寸, ϕ \phi ϕ 表示层归一化与ReLU激活, δ \delta δ 为Sigmoid函数。类似地,通道维度通过平均池化得到 F c ∈ R 1 × 1 × C F_{c}\in \mathbb{R}^{1\times 1\times C} Fc∈R1×1×C,计算通道特征调制矩阵 F i c ∈ R H × W × C F_{i}^{c}\in \mathbb{R}^{H\times W\times C} Fic∈RH×W×C:

F i c = F i ⊙ δ ( φ 1 × 1 ( ϕ ( φ 1 × 1 ( F c ) ) ) ) ( 2 ) F_{i}^{c}=F_{i}\odot\delta(\varphi_{1\times 1}(\phi(\varphi_{1\times 1}(F_{c})))) \qquad(2) Fic=Fi⊙δ(φ1×1(ϕ(φ1×1(Fc))))(2)

最终将空间调制特征 F i s F_{i}^{s} Fis 和通道调制特征 F i c F_{i}^{c} Fic 与原始特征 F i F_{i} Fi 相加,得到上下文增强特征 F ~ i \tilde{F}_{i} F~i。通过水平和垂直轴的全局池化,CFM捕获轴向上下文信息,使网络聚焦于前景区域,辅助后续原型学习识别最相关的类别特征。

Progressive Prototype Refinement

SAM 的性能依赖于精确提示,微小偏差即影响分割结果[1,13]。为此,我们引入两组原型:

  • 类内原型 P intra ∈ R N × C P_{\text{intra}}\in \mathbb{R}^{N\times C} Pintra∈RN×C( N N N为类别数)
  • 类间原型 P inter ∈ R Q × C P_{\text{inter}}\in \mathbb{R}^{Q\times C} Pinter∈RQ×C( Q = α × N Q=\alpha\times N Q=α×N, α = 8 \alpha=8 α=8)

Step 1: 原型匹配

计算 P intra P_{\text{intra}} Pintra 与 P inter P_{\text{inter}} Pinter 的余弦相似度,为每个类内原型选取top-k最相似的类间原型,拼接形成增强原型 P ^ ∈ R Q × C \hat{P}\in \mathbb{R}^{Q\times C} P^∈RQ×C( Q = N × ( k + 1 ) Q=N\times(k+1) Q=N×(k+1))。

Step 2: 双路径交叉注意力

设计类别引导双路径交叉注意力 ,融合图像特征 F I ∈ R H × W × C F_{I}\in \mathbb{R}^{H\times W\times C} FI∈RH×W×C 与类别特征 F M ∈ R H × W × N F_{M}\in \mathbb{R}^{H\times W\times N} FM∈RH×W×N:

  1. 类别注意力权重 W c W_{c} Wc 计算:
    F Θ ′ ′ = ζ ( reshape ( φ ( F Θ ) ) ) , Θ ∈ { I , M } ( 3 ) F_{\Theta}^{\prime\prime}=\zeta\left(\text{reshape}\left(\varphi\left(F_{\Theta}\right)\right)\right),\ \Theta\in\{I,M\} \qquad(3) FΘ′′=ζ(reshape(φ(FΘ))), Θ∈{I,M}(3)
    W c = softmax ( φ ( F I ′ ′ ⊗ F M ′ ′ ) ) ( 4 ) W_c=\text{softmax}\left(\varphi\left(F_I^{\prime\prime} \otimes F_M^{\prime\prime}\right)\right) \qquad(4) Wc=softmax(φ(FI′′⊗FM′′))(4)
  2. 查询生成:
    W q = softmax ( P ^ F ^ T ) P ^ ′ = ( α ⋅ W c + β ⋅ W q ) ⊙ F ^ ( 5 ) \begin{align*} W_{q}&=\text{softmax}(\hat{P}\hat{F}^{T}) \\ \hat{P}^{\prime}&=(\alpha\cdot W_{c}+\beta\cdot W_{q})\odot\hat{F} \end{align*} \qquad(5) WqP^′=softmax(P^F^T)=(α⋅Wc+β⋅Wq)⊙F^(5)
    其中 F ^ \hat{F} F^ 为 F I F_I FI 与 F M F_M FM 融合后的特征。

Step 3: 原型更新

将 P ^ ′ \hat{P}^{\prime} P^′ 重塑为 N × ( k + 1 ) × C N\times(k+1)\times C N×(k+1)×C,分离得到更新后的类内原型 P ^ intra \hat{P}{\text{intra}} P^intra 和类间原型 P ^ inter \hat{P}{\text{inter}} P^inter,通过索引匹配更新原始原型库。

Prototype-based Prompt Generator

为避免信息混淆,我们为密集提示和稀疏提示设计独立生成路径:

密集提示生成

通过类间原型与查询交互生成:
D = MLP ( softmax ( F I ⋅ P ^ inter T ) ⋅ P ^ inter ) ( 6 ) D=\text{MLP}(\text{softmax}(F_{I}\cdot\hat{P}{\text{inter}}^{T})\cdot\hat{P}{\text{inter}}) \qquad(6) D=MLP(softmax(FI⋅P^interT)⋅P^inter)(6)

其中MLP包含两个点卷积层与GELU激活函数。

稀疏提示生成

通过类内原型与特征交互生成:
S = MLP ( softmax ( P ^ intra T ⋅ F I ) ⋅ F I ) ( 7 ) S=\text{MLP}(\text{softmax}(\hat{P}{\text{intra}}^{T}\cdot F{I})\cdot F_{I}) \qquad(7) S=MLP(softmax(P^intraT⋅FI)⋅FI)(7)

双路径设计使提示生成过程既能捕获局部细节(密集提示),又能保持类别区分度(稀疏提示)。


Experiment

本节通过在两个分割任务上的实验评估 PGP-SAM 的性能,与现有 SAM 变体进行对比,并通过消融实验分析模块贡献。

Datasets

我们在公开的 Synapse 多器官 CT 数据集和私有脑室 CT 数据集上进行多器官分割实验:

  • Synapse数据集:包含18个训练案例和12个测试案例,每个案例约含70个有效切片
  • 脑室数据集:包含400个训练案例和100个测试案例,每个案例约含10个有效切片

所有数据在少样本训练中均调整为 512×512 分辨率。

Implementation Details

所有模型在单张 RTX 3090 GPU 上训练,采用数据增强策略(弹性形变、旋转、缩放)。损失函数为交叉熵损失与 Dice 损失的加权组合。我们使用 LoRA 配置(rank=4)对 ViT-b 模型进行微调,优化器选择 AdamW(初始学习率 3e-4,权重衰减 1e-4),训练 50 个 epoch,批量大小为 8。

Results and Analysis

表1和表2分别展示了在Synapse和脑室数据集上的定量结果(Dice系数%):

关键结论:

  • PGP-SAM 在两类数据集上均取得最优 Dice 系数(Synapse: 78.75% vs 73.91%;脑室: 76.39% vs 73.36%)
  • 对复杂器官(如胰腺、第三脑室)提升显著(Synapse 胰腺提升 11.29%,脑室第三脑室提升 3.23%)

Ablation Study


总结

本文提出了一种基于原型引导的高效少样本医学图像分割方法PGP-SAM。通过设计上下文特征调制模块(CFM)和渐进式原型优化机制(PPR),我们实现了以下突破:

  • 高效上下文融合:CFM模块通过空间-通道双路径调制,使模型在有限数据下有效捕获全局语义信息,相比基线模型(71.92% Dice)提升6.83%。
  • 精准提示生成:通过类内/类间原型交互,自动生成的密集与稀疏提示在Synapse和脑室数据集上分别达到78.75%和76.39% Dice,显著优于SAMed(73.91%/73.36%)。
  • 低参数量适配:仅需微调0.8M参数(占SAM总参数0.6%),即实现跨数据集的稳定性能提升。

实验结果表明,PGP-SAM在复杂解剖结构(如胰腺、第三脑室)的分割任务中展现出更强的鲁棒性。未来工作将探索:

  • 三维体积数据中的原型传递机制;
  • 多模态医学图像的原型统一表示学习。
相关推荐
琑951 小时前
Next.js项目MindAI教程 - 第四章:用户认证系统
开发语言·javascript·数据库·人工智能·mysql·typescript·node.js
pen-ai1 小时前
【NLP】 8. 处理常见词(Stopwords)的不同策略
人工智能·自然语言处理
乱世刀疤3 小时前
AI绘画软件Stable Diffusion详解教程(11):图生图进阶篇(局部用上传蒙版重绘)
人工智能·ai作画·stable diffusion
朱剑君4 小时前
用Python打造AI玩家:挑战2048,谁与争锋
人工智能·python
东临碣石825 小时前
【AI论文】MM-Eureka:基于规则的大规模强化学习探索视觉“啊哈”时刻
人工智能
陌陌6235 小时前
Prompt优化 COT/COD
人工智能·prompt
訾博ZiBo6 小时前
AI日报 - 2025年3月17日
人工智能
树莓集团6 小时前
树莓科技集团董事长:第五代产业园运营模式的深度剖析与展望
大数据·人工智能·科技·物联网·百度
晴空对晚照6 小时前
【论文阅读】AlexNet——深度学习奠基作之一
论文阅读·人工智能·深度学习
孔令飞6 小时前
16 | 实现简洁架构的 Store 层
人工智能·ai·云原生·golang·kubernetes