论文阅读——MP-Former

MP-Former: Mask-Piloted Transformer for Image Segmentation

https://arxiv.org/abs/2303.07336

mask2former问题是:相邻层得到的掩码不连续,差别很大

denoising training非常有效地稳定训练时期之间的二分匹配。去噪训练的关键思想是将带噪声的GT坐标与可学习查询并行地送到Transformer解码器中,并训练模型去噪和恢复GT边框坐标。MPFormer去噪训练的思想从DN-DETR来,改进的mask2former模型。

MPformer送入class embeddings作为查询,给每层解码层送入GT masks作为attention masks,然后让模型重建类别和masks。

mask2former提出的mask attention可以使得训练时容易收敛。作者发现使得Vit类模型容易收敛的一些常识为给可学习的查询明确的意义,减少不确定性;二是给交叉注意力局部限制,更好的找到目标。因此作者认为给交叉注意力明确的导向可以提高分割性能。和DN-DETR不同,MPformer噪声可选择,可以没有。

作者把mask2former看做一个掩码不断精细化的过程,一层的预测作为下一层的attention masks。

MPformer是每层将GTmask作为attention masks,由于每层大小不一样,所以把GT使用双线性插值到不同分辨率。

加噪声的三种方式:

点噪声表现最好,所以用的点噪声。

Label-guided training:class embeddings会对应一个classification loss,class embeddings加噪声。

两种噪声,类别和掩码噪声的比例给的是0.2。

辅助函数:

结果

相关推荐
Wanda12142 分钟前
机器人与机电一体化3D数字孪生机器-Day5
人工智能·unity·游戏引擎·数字孪生
frankzch5 分钟前
HybridAgent 拆解:在潜空间想,动手时才出字
人工智能·深度学习·语言模型
Martina_03216 分钟前
AI生成模型怎么做网页3D轻量化?用6步压缩Mesh、贴图与材质调用
图像处理·人工智能·3d·自然语言处理·aigc·游戏策划
张彦峰ZYF7 分钟前
用一个业务场景画出生产级 Agent 的全景架构
人工智能·生产级 agent·模型、工具、记忆·企业任务执行 agent·接入、会话与上下文·编排、模型访问、工具与集成·数据与状态、治理与观测
小李同学_LHY8 分钟前
大白话模型第三章:深度学习
人工智能·深度学习
Maynor9969 分钟前
TypeSafe Jev 1.14.0 使用教程:System One 决策 API 从入门到 box 定位
人工智能·api·jev·system one·决策模型·typesafe·jev-1.14.0
志尊宝16 分钟前
AI原生前端开发(012):Prompt API详解:如何优雅调用本地AI模型
人工智能·prompt·ai-native
JAVA_AI人工智能项目实战20 分钟前
分布式大模型训练_学习笔记
人工智能·分布式·语言模型·自然语言处理