Segment Anything

参考:【图像分割】Segment Anything(Meta AI)论文解读-CSDN博客

背景

  • 提示分割任务:在给定任何分割提示下返回一个有效的分割掩码
  • 目标:开发一个可提示的图像分割的基础模型,在一个广泛的数据集上预训练,解决新数据分布上的一系列下游分割问题
  • 输入:提示+图片
  • 输出:mask

模型

  • prompt可以是一组前景/背景点、一个粗糙的框或掩码、自由形式的文本(上图中的Task)
  • 三个约束条件:一个强大的图像编码器计算图像嵌入,一个提示编码器嵌入提示,然后将两个信息源组合在一个轻量级掩码解码器中来预测分割掩码。(上图中的Model)
  • 数据加强:分三个阶段:在第一阶段,SAM(Segment everything model)协助注释器对掩码进行注释,类似于经典的交互式分割设置【train】。在第二阶段,SAM可以通过提示可能的对象位置来为对象子集自动生成掩码,注释器专注于对其余对象的注释,帮助增加掩码的多样性【annotate】。在最后一个阶段,我们用一个规则的前景点网格提示SAM,平均每张图像产生100个高质量的掩模。(上图中的Data)
  • 图像编码器:预训练的视觉变换器 (ViT)
  • 提示编码器
    • 两组提示:稀疏的(点、方框、文本)和密集的(mask)
      • 点和方框:位置编码与每种提示类型的学习嵌入相加
      • 文本:用 CLIP的现成文本编码器来表示自由格式文本
      • mask:使用卷积进行嵌入,并与图像嵌入进行元素求和
  • 掩码解码器
    • ​​​​​​​ 有效地将图像嵌入、提示嵌入和输出token映射到掩码。该设计的灵感来自于DETR,采用了对(带有动态掩模预测头的)Transformer decoder模块的修改。
相关推荐
weixin_3875456411 分钟前
深入解析 AI Gateway:新一代智能流量控制中枢
人工智能·gateway
Kaltistss19 分钟前
98.验证二叉搜索树
算法·leetcode·职场和发展
知己如祭23 分钟前
图论基础(DFS、BFS、拓扑排序)
算法
聽雨23728 分钟前
03每日简报20250705
人工智能·社交电子·娱乐·传媒·媒体
mit6.82432 分钟前
[Cyclone] 哈希算法 | SIMD优化哈希计算 | 大数运算 (Int类)
算法·哈希算法
c++bug35 分钟前
动态规划VS记忆化搜索(2)
算法·动态规划
哪 吒37 分钟前
2025B卷 - 华为OD机试七日集训第5期 - 按算法分类,由易到难,循序渐进,玩转OD(Python/JS/C/C++)
python·算法·华为od·华为od机试·2025b卷
二川bro1 小时前
飞算智造JavaAI:智能编程革命——AI重构Java开发新范式
java·人工智能·重构
acstdm1 小时前
DAY 48 CBAM注意力
人工智能·深度学习·机器学习
澪-sl1 小时前
基于CNN的人脸关键点检测
人工智能·深度学习·神经网络·计算机视觉·cnn·视觉检测·卷积神经网络