实现分割自动化!基于SAM的医学图像分割又双叒叕有新突破

SAM(Segment Anything Model)是一种先进的图像分割模型,在医学图像分割领域的应用潜力巨大。通过不同的策略和改进,它能够更好地适应医学图像的特点,提高分割的准确性和效率,是论文订刊的新热点之一。

为此,沃的顶会精选了13种【SAM+医学图像分割】改进方案,希望给各位的学术研究提供一些思路。

1、使用基础模型进行一次性医学图像分割

**标题:**ProtoSAM - One Shot Medical Image Segmentation With Foundational Models

**方法:**本文提出了一种用于单点医学图像分割的新框架ProtoSAM。它结合了以少镜头分割著称的原型网络和自然图像基础模型SAM的使用。该方法使用ALPnet原型网络创建初始粗分割掩码,并添加DINOv2编码器。在提取初始掩码之后,提取提示,例如点和边界框,然后将其输入到Segment Anything Model (SAM)中。最先进的结果显示在几个医学图像数据集上,并使用单个图像示例(一次拍摄)演示自动分割功能,无需对基础模型进行微调。

创新点:

1)结合原型网络和基础模型:ProtoSAM结合了原型网络PN,特别是ALPNet,以及自然图像基础模型SAM。

2)无需微调:ProtoSAM能够在不微调基础模型的情况下,通过单次示例实现自动化分割,这大大减少了对大量标记数据的依赖。

3)初始粗糙分割和提示提取:首先使用ALPnet原型网络结合DINOv2编码器创建初始粗糙的分割掩码,然后提取提示(如点和边界框)以指导SAM进行更精细的分割。

4)自动化和提示基础的分割:SAM模型支持全自动和基于提示的分割,ProtoSAM利用这一点,通过设计适当的提示来实现对医学图像的单次分割。

需要的同学添加公众号【沃的顶会】 回复 SAM13 即可全部领取

2、以极其有限的注释增强半监督医学图像分割

**标题:**SemiSAM: Exploring SAM for Enhancing Semi-Supervised Medical Image Segmentation with Extremely Limited Annotations

**方法:**本文提出了一种简单而有效的策略来探索SAM作为附加监督分支的使用,以增强在极有限注释的情况下基于一致性学习的半监督医学图像分割框架。该半监督分割框架使用均值教师框架,主要由两个组件组成:主要分支与分割网络输入原始图像并生成主要分割输出(即学生模型的均值教师输出),以及一致性分支,将扰动引入到输入图像或网络条件(即学生模型到均值教师的指数移动平均(EMA)),以生成额外的分割输出(即均值教师的输出)。

创新点:

1)提出了一种简单而有效的方法,探索将SAM作为增强一致性学习半监督医学图像分割框架的额外监督分支,该框架在标注资源极度有限的情况下进行。具体而言,分割模型为SAM提供信息,用于定位和生成指向SAM的提示点。

2)除了优化分割模型,基于 Token 案例的监督分割损失和基于未标注案例的一致性损失,作者还利用SAM和分割模型之间的预测一致性作为额外的监督信号,以辅助学习过程。

3)通过在两个半监督学习框架下对左心房(LA)数据集进行实验,SAM的辅助显著增强了分割性能,尤其是在只有一张或几张 Token 图像的情况下。

需要的同学添加公众号【沃的顶会】 回复 SAM13 即可全部领取

3、分割医学图像中的任何内容

**标题:**Segment Anything in Medical Images

**方法:**在SAM基础模型基础上进行改进,提出了可显著增强医学图像上的分割性能的MedSAM。MedSAM通过在一个超过一百万医学图像-掩码对的前所未有的数据集上对SAM进行微调来实现这一点。通过 86 个内部验证任务和 60 个外部验证任务的综合实验对 MedSAM 进行了全面评估,涵盖各种解剖结构、病理条件和医学成像模式。

创新点:

1)策划了一个多样化的大规模医学图像分割数据集,其中包含 1570263 个医学图像掩模对,涵盖 10 种成像模式、30 多种癌症类型和多种成像协议。

2)进一步引入了 MedSAM,这是一种改进的基础模型,它显著提高了SAM在医学图像上的分割性能。

3)实验结果表明,MedSAM 始终优于最先进的 (SOTA) 分割基础模型,同时实现与在相同模态图像上训练的专业模型相当甚至超过的性能。这些结果凸显了 MedSAM 作为多功能医学图像分割新范例的潜力。

相关推荐
Blossom.1183 分钟前
机器学习在智能供应链中的应用:需求预测与物流优化
人工智能·深度学习·神经网络·机器学习·计算机视觉·机器人·语音识别
Gyoku Mint10 分钟前
深度学习×第4卷:Pytorch实战——她第一次用张量去拟合你的轨迹
人工智能·pytorch·python·深度学习·神经网络·算法·聚类
zzywxc78712 分钟前
AI大模型的技术演进、流程重构、行业影响三个维度的系统性分析
人工智能·重构
点控云13 分钟前
智能私域运营中枢:从客户视角看 SCRM 的体验革新与价值重构
大数据·人工智能·科技·重构·外呼系统·呼叫中心
zhaoyi_he21 分钟前
多模态大模型的技术应用与未来展望:重构AI交互范式的新引擎
人工智能·重构
葫三生1 小时前
如何评价《论三生原理》在科技界的地位?
人工智能·算法·机器学习·数学建模·量子计算
m0_751336392 小时前
突破性进展:超短等离子体脉冲实现单电子量子干涉,为飞行量子比特奠定基础
人工智能·深度学习·量子计算·材料科学·光子器件·光子学·无线电电子
美狐美颜sdk5 小时前
跨平台直播美颜SDK集成实录:Android/iOS如何适配贴纸功能
android·人工智能·ios·架构·音视频·美颜sdk·第三方美颜sdk
DeepSeek-大模型系统教程6 小时前
推荐 7 个本周 yyds 的 GitHub 项目。
人工智能·ai·语言模型·大模型·github·ai大模型·大模型学习
有Li6 小时前
通过具有一致性嵌入的大语言模型实现端到端乳腺癌放射治疗计划制定|文献速递-最新论文分享
论文阅读·深度学习·分类·医学生