【算法思考】端到端实例分割模型 SOLO

目录

背景

不同于语义分割,实例分割不仅需要输出图像的语义蒙版,还要对图像中不同的实例作区分。如下图所示,实例分割任务需要多不同的羊做区分,输出不同的实例蒙版。

由于图片中实例个数的不确定性,实例分割一直以来都是比较难的话题。因此在端到端的方法问世之前,大多数方法可以分为两类:一类是先做目标检测,提出包围盒,然后从包围盒中分割出语义实例,比如 mask RCNN。另一类是给每个像素预测出一个向量表示,然后基于向量表示进行聚类。如果想要了解这两类方法的一些具体做法,可以参考 SOLO 这篇论文中的一些讨论。我们今天主要介绍的也是SOLO这篇文章的算法,其可以说是第一篇能做到端到端训练实例分割任务的模型,不要任何包围盒的辅助。

工作

SOLO这篇工作中提出了三个模型,分别是SOLO HEAD,Decoupled SOLO Head,Decoupled SOLO Light Head。我们今天把Decoupled SOLO Light Head的架构拿出来进行分析,方便大家深度了解这篇工作。

首先,如果输入是 288x384, 那么其网络的数据流和架构如下所示:

网络由三部分组成,分别是骨干网络resnet,fpn,solo head 这三个模块。

在图示中,蓝色模块表示卷积, 橙色块表示上采样, 如果橙色块的值为-1表示采样到上一层特征图大小。如果橙色块的值为2表示长采样2倍。灰色的块有 gridX文本, 表示会对feature map resize到(X, X) 大小。白色的块表示不包含batch_size 的特征维度。

在SOLO中很重要的一点是如何表示不同的实例,并从网络的输出中提取出不同的实例。

SOLO采用了这样的解决方法,对于不同的实例,认为每个实例的中心点的位置是不同的。在实际应用中,可以对图像进行划分,比如划分成12x12的网格(后面都用12x12来举例子),规定不同实例的中心点不会落在相同的网格上。通过这种定义,SOLO就可以通过一个类似语义分割模型的mask head进行实例的预测,而语义类别的个数就是划分得到的格子的数量。

除了得到每个实例的mask之外,SOLO模型还需要确定每个实例的语义,也就是通过 classification head得到具体的语义类别。classification head的实现就比较简单,会直接将特征图 resize到 12x12, 对网格中的每个特征进行语义分类。具体某个实例的语义类别,就通过取实例中心对应网格位置的分类结果得到。

总结

总的来说,SOLO这个模型稍微有些复杂,目前在实例分割方面已经有了一些更好的基于transformer的工作,比如mask2former等。SOLO的缺点很明显,其生硬地认为不同的实例中心位置应该不一样,并不适用于某些情况。另外,SOLO在处理不同大小实例的时候不够灵活,不同的分支只能输出固定范围内的实例mask,非常耗费计算力。

相关推荐
山烛8 分钟前
KNN 算法中的各种距离:从原理到应用
人工智能·python·算法·机器学习·knn·k近邻算法·距离公式
盲盒Q18 分钟前
《频率之光:归途之光》
人工智能·硬件架构·量子计算
guozhetao21 分钟前
【ST表、倍增】P7167 [eJOI 2020] Fountain (Day1)
java·c++·python·算法·leetcode·深度优先·图论
吃着火锅x唱着歌23 分钟前
LeetCode 611.有效三角形的个数
算法·leetcode·职场和发展
墨染点香27 分钟前
第七章 Pytorch构建模型详解【构建CIFAR10模型结构】
人工智能·pytorch·python
go546315846527 分钟前
基于分组规则的Excel数据分组优化系统设计与实现
人工智能·学习·生成对抗网络·数学建模·语音识别
茫茫人海一粒沙33 分钟前
vLLM 的“投机取巧”:Speculative Decoding 如何加速大语言模型推理
人工智能·语言模型·自然语言处理
诗酒当趁年华35 分钟前
【NLP实践】二、自训练数据实现中文文本分类并提供RestfulAPI服务
人工智能·自然语言处理·分类
静心问道1 小时前
Idefics3:构建和更好地理解视觉-语言模型:洞察与未来方向
人工智能·多模态·ai技术应用
sheep88881 小时前
AI与区块链Web3技术融合:重塑数字经济的未来格局
人工智能·区块链