【沃尔玛全球科技-Zezhong Fan-AAAI26】Segment and Matte Anything in a Unified Model


文章:Segment and Matte Anything in a Unified Model

代码:暂无

单位:沃尔玛全球科技


一、问题背景:分割与抠图的"两难困境"

  1. SAM的短板:SAM凭借10亿级掩码训练数据,支持点、框、文本等多种交互提示,零样本泛化能力超强,但输出掩码的边界精度不足,缺乏亚像素级细节,无法直接用于精细抠图。

  2. 现有改进方案的局限:后续的HQ-SAM、DIS-SAM等模型虽提升了分割精度,但需要额外后处理或人工交互,实用性打折扣;而MatAny、MAM等SAM衍生抠图模型,要么依赖额外重模型,要么无法兼顾分割性能。

  3. 核心矛盾:分割需要全局物体信息,抠图需要局部边界细节,二者存在强关联性,但此前缺乏能将二者统一、且轻量化的框架。

二、方法创新:SAMA的"三合一"核心设计

研究者提出的Segment And Matte Anything(SAMA),作为SAM的轻量化扩展,仅增加1.8%参数量,就实现了"分割+抠图"一体化,核心创新有三点:

1. 多视角定位编码器(MVLE):捕捉细节不遗漏

借鉴人类"远看全局、近看细节"的视觉逻辑,SAMA将输入图像分成4个不重叠的局部补丁,每个补丁放大后与原图一起输入编码器。通过跨注意力机制对齐局部细节和全局信息,解决了SAM仅靠全局特征无法捕捉精细结构的问题。

2. 定位适配器(Local-Adapter):细化边界更精准

在SAM解码器中插入专属模块,通过两轮交叉注意力融合全局上下文和局部特征。同时引入"置信度图",既保留SAM的零样本泛化能力,又能精准修复物体边界,让分割和抠图的边缘更锐利。

3. 双任务预测头:一键输出双结果

设计两个轻量化预测头,分别对应分割和抠图任务。通过上采样和卷积层协同优化,实现一次输入同时输出高精度分割掩码和细腻alpha抠图,无需额外切换模型。

关键是,SAMA训练时冻结了SAM的全部参数,仅微调新增模块,既保证了数据效率,又不会丢失SAM的核心优势。

三、实验结果:多项 benchmark 刷新纪录

在分割和抠图两大任务的标准数据集上,SAMA表现亮眼:

1. 分割任务:细节碾压同类模型

在精细分割数据集DIS-5K上,SAMA的最大F值达到0.942,显著超过SAM(0.835)、HQ-SAM(0.851)等模型;即使面对形状复杂的物体(如铁丝网),也能精准分割出细微结构。在零样本分割数据集COIFT上,仅用1-5个点提示,SAMA的mIoU分数也远超同类模型。

2. 抠图任务:无需Trimap也能赢

在Composition-1K、Distinction-646等抠图基准上,SAMA作为无Trimap模型,SAD(误差指标)低至22.4,媲美甚至超过需要Trimap辅助的VITMatte等模型。视觉效果上,能清晰抠出头发丝、透明玻璃的通透质感,解决了传统模型"抠不干净"的痛点。

3. 效率不打折

尽管新增了双任务能力,SAMA的推理速度(FPS)仅比SAM轻微下降,参数量仅增加1.8%,在普通GPU上也能流畅运行,兼顾性能与实用性。

四、优势与局限

核心优势

  1. 一体化高效:一个模型搞定分割+抠图,无需分步操作,大幅降低使用成本;

  2. 高精度+高灵活:既保留SAM的点、框、文本等交互提示能力,又实现亚像素级边界精度;

  3. 轻量化易部署:新增参数少,推理速度快,无需高端硬件即可落地。

现存局限

  1. 仅支持静态图像:目前只能处理单张图片,无法应用于视频分割与抠图;

  2. 硬件要求较高:依赖SAM backbone,推理仍需≥10GB显存的GPU,普通设备难以运行;

  3. 不支持文本直接提示:暂时需要框、点等交互提示,未接入文本-图像关联能力。

五、一句话总结

SAMA以轻量化设计实现了分割与抠图的统一,既继承了SAM的灵活交互与泛化能力,又补齐了精细边界处理的短板,为图像编辑、自动驾驶感知等场景提供了更高效的解决方案。

相关推荐
世冠科技8 小时前
世冠科技GCEAgent重磅发布,开启复杂装备AI原生智能研发新范式
人工智能·科技·ai-native
飞猫的边缘AI4 天前
SoC和SoC FPGA的野心与市场渗透
人工智能·科技·soc芯片·边缘ai
云南新人和数采集团5 天前
云南靠谱软件开发公司选型指南:以昆明新腾科技为例
大数据·人工智能·科技
AI算力6 天前
私有云时代来临:AI NAS如何重塑你的数字生活?
人工智能·科技·ai·生活·nas·ai算力·ainas
观察世界9 天前
字节 Seed 发布 Seedream 5.5:同一张图可编辑 100 轮,严重文字损坏率降至 0.4%
科技·ai
观察世界11 天前
前沿模型论坛发布越狱评级框架:给网络安全类越狱分等级,决定先修哪个
科技
昂永科技|非标件自动报价系统11 天前
# 昂永(上海)科技非标件自动核价系统落地无锡先导,助力制造核价数字化
大数据·科技·制造
行者无疆_ty12 天前
王兴兴:宇树未来将重点攻克机器人大脑——从「四肢发达」到「头脑不简单」,具身智能的临界点到了吗?
科技·热点追踪
硅谷秋水12 天前
面向科学的科学AI智能体:任务、架构、评估与挑战综述
人工智能·科技·语言模型
被放养的研究生12 天前
第五章 信息安全及信息科技风险管理
科技·金融监管计算机类