Segment Anything

参考:【图像分割】Segment Anything(Meta AI)论文解读-CSDN博客

背景

  • 提示分割任务:在给定任何分割提示下返回一个有效的分割掩码
  • 目标:开发一个可提示的图像分割的基础模型,在一个广泛的数据集上预训练,解决新数据分布上的一系列下游分割问题
  • 输入:提示+图片
  • 输出:mask

模型

  • prompt可以是一组前景/背景点、一个粗糙的框或掩码、自由形式的文本(上图中的Task)
  • 三个约束条件:一个强大的图像编码器计算图像嵌入,一个提示编码器嵌入提示,然后将两个信息源组合在一个轻量级掩码解码器中来预测分割掩码。(上图中的Model)
  • 数据加强:分三个阶段:在第一阶段,SAM(Segment everything model)协助注释器对掩码进行注释,类似于经典的交互式分割设置【train】。在第二阶段,SAM可以通过提示可能的对象位置来为对象子集自动生成掩码,注释器专注于对其余对象的注释,帮助增加掩码的多样性【annotate】。在最后一个阶段,我们用一个规则的前景点网格提示SAM,平均每张图像产生100个高质量的掩模。(上图中的Data)
  • 图像编码器:预训练的视觉变换器 (ViT)
  • 提示编码器
    • 两组提示:稀疏的(点、方框、文本)和密集的(mask)
      • 点和方框:位置编码与每种提示类型的学习嵌入相加
      • 文本:用 CLIP的现成文本编码器来表示自由格式文本
      • mask:使用卷积进行嵌入,并与图像嵌入进行元素求和
  • 掩码解码器
    • ​​​​​​​ 有效地将图像嵌入、提示嵌入和输出token映射到掩码。该设计的灵感来自于DETR,采用了对(带有动态掩模预测头的)Transformer decoder模块的修改。
相关推荐
无线图像传输研究探索9 分钟前
单兵图传终端:移动场景中的 “实时感知神经”
网络·人工智能·5g·无线图传·5g单兵图传
十八岁讨厌编程27 分钟前
【算法训练营Day17】二叉树part7
算法
YouQian7721 小时前
(AC)Playlist
算法
zzywxc7871 小时前
AI在编程、测试、数据分析等领域的前沿应用(技术报告)
人工智能·深度学习·机器学习·数据挖掘·数据分析·自动化·ai编程
铭keny1 小时前
YOLOv8 基于RTSP流目标检测
人工智能·yolo·目标检测
算法_小学生2 小时前
决策树(Decision Tree)完整解析:原理 + 数学推导 + 剪枝 + 实战
算法·决策树·剪枝
岁忧2 小时前
(LeetCode 面试经典 150 题 ) 155. 最小栈 (栈)
java·c++·算法·leetcode·面试·go
墨尘游子2 小时前
11-大语言模型—Transformer 盖楼,BERT 装修,RoBERTa 直接 “拎包入住”|预训练白话指南
人工智能·语言模型·自然语言处理
金井PRATHAMA2 小时前
主要分布于内侧内嗅皮层的层Ⅲ的网格-速度联合细胞(Grid × Speed Conjunctive Cells)对NLP中的深层语义分析的积极影响和启示
人工智能·深度学习·神经网络·机器学习·语言模型·自然语言处理·知识图谱
天道哥哥2 小时前
InsightFace(RetinaFace + ArcFace)人脸识别项目(预训练模型,鲁棒性很好)
人工智能·目标检测