实现分割自动化!基于SAM的医学图像分割又双叒叕有新突破

SAM(Segment Anything Model)是一种先进的图像分割模型,在医学图像分割领域的应用潜力巨大。通过不同的策略和改进,它能够更好地适应医学图像的特点,提高分割的准确性和效率,是论文订刊的新热点之一。

为此,沃的顶会精选了13种【SAM+医学图像分割】改进方案,希望给各位的学术研究提供一些思路。

1、使用基础模型进行一次性医学图像分割

**标题:**ProtoSAM - One Shot Medical Image Segmentation With Foundational Models

**方法:**本文提出了一种用于单点医学图像分割的新框架ProtoSAM。它结合了以少镜头分割著称的原型网络和自然图像基础模型SAM的使用。该方法使用ALPnet原型网络创建初始粗分割掩码,并添加DINOv2编码器。在提取初始掩码之后,提取提示,例如点和边界框,然后将其输入到Segment Anything Model (SAM)中。最先进的结果显示在几个医学图像数据集上,并使用单个图像示例(一次拍摄)演示自动分割功能,无需对基础模型进行微调。

创新点:

1)结合原型网络和基础模型:ProtoSAM结合了原型网络PN,特别是ALPNet,以及自然图像基础模型SAM。

2)无需微调:ProtoSAM能够在不微调基础模型的情况下,通过单次示例实现自动化分割,这大大减少了对大量标记数据的依赖。

3)初始粗糙分割和提示提取:首先使用ALPnet原型网络结合DINOv2编码器创建初始粗糙的分割掩码,然后提取提示(如点和边界框)以指导SAM进行更精细的分割。

4)自动化和提示基础的分割:SAM模型支持全自动和基于提示的分割,ProtoSAM利用这一点,通过设计适当的提示来实现对医学图像的单次分割。

需要的同学添加公众号【沃的顶会】 回复 SAM13 即可全部领取

2、以极其有限的注释增强半监督医学图像分割

**标题:**SemiSAM: Exploring SAM for Enhancing Semi-Supervised Medical Image Segmentation with Extremely Limited Annotations

**方法:**本文提出了一种简单而有效的策略来探索SAM作为附加监督分支的使用,以增强在极有限注释的情况下基于一致性学习的半监督医学图像分割框架。该半监督分割框架使用均值教师框架,主要由两个组件组成:主要分支与分割网络输入原始图像并生成主要分割输出(即学生模型的均值教师输出),以及一致性分支,将扰动引入到输入图像或网络条件(即学生模型到均值教师的指数移动平均(EMA)),以生成额外的分割输出(即均值教师的输出)。

创新点:

1)提出了一种简单而有效的方法,探索将SAM作为增强一致性学习半监督医学图像分割框架的额外监督分支,该框架在标注资源极度有限的情况下进行。具体而言,分割模型为SAM提供信息,用于定位和生成指向SAM的提示点。

2)除了优化分割模型,基于 Token 案例的监督分割损失和基于未标注案例的一致性损失,作者还利用SAM和分割模型之间的预测一致性作为额外的监督信号,以辅助学习过程。

3)通过在两个半监督学习框架下对左心房(LA)数据集进行实验,SAM的辅助显著增强了分割性能,尤其是在只有一张或几张 Token 图像的情况下。

需要的同学添加公众号【沃的顶会】 回复 SAM13 即可全部领取

3、分割医学图像中的任何内容

**标题:**Segment Anything in Medical Images

**方法:**在SAM基础模型基础上进行改进,提出了可显著增强医学图像上的分割性能的MedSAM。MedSAM通过在一个超过一百万医学图像-掩码对的前所未有的数据集上对SAM进行微调来实现这一点。通过 86 个内部验证任务和 60 个外部验证任务的综合实验对 MedSAM 进行了全面评估,涵盖各种解剖结构、病理条件和医学成像模式。

创新点:

1)策划了一个多样化的大规模医学图像分割数据集,其中包含 1570263 个医学图像掩模对,涵盖 10 种成像模式、30 多种癌症类型和多种成像协议。

2)进一步引入了 MedSAM,这是一种改进的基础模型,它显著提高了SAM在医学图像上的分割性能。

3)实验结果表明,MedSAM 始终优于最先进的 (SOTA) 分割基础模型,同时实现与在相同模态图像上训练的专业模型相当甚至超过的性能。这些结果凸显了 MedSAM 作为多功能医学图像分割新范例的潜力。

相关推荐
大模型真好玩1 分钟前
用 Seedance 2.5 Flash 实现1分钟AI短剧,满足孩子的超级英雄对战梦
人工智能·aigc·deepseek
FengY_HYY20 分钟前
从人类组织到人类&大模型组织,我的位置在哪里?
人工智能·程序员·llm
Flynn Liang42 分钟前
大模型成本优化:基于 Redis 的可验证语义缓存架构
人工智能·redis·缓存·架构·ai agent·智能体
锋行天下1 小时前
langgraph全栈项目(一)
前端·人工智能·后端
程序员cxuan1 小时前
不得了,Google 造反了,Opus 5.5 又被干了
人工智能·后端·程序员
数字新视界1 小时前
能耗管理系统提升企业能源效率的实践与展望
大数据·人工智能·数据中心·机房管理·模块化机房
郝学胜-神的一滴2 小时前
Effective Python 条款36:优雅拼装迭代器与生成器
开发语言·数据结构·人工智能·python·numpy·scikit-learn
Frag0ut3 小时前
Chrome 2026浏览器AI助手全攻略:智能问答与内容创作实战进阶指南
人工智能·chrome·ai助手·本地大模型·浏览器ai·网页智能总结·侧边栏ai
如夏倾城3 小时前
入侵检测系统(IDS)原理、部署模式与 IPS/防火墙对比
大数据·网络·人工智能·网络安全·云原生·架构·kubernetes