论文阅读——MP-Former

MP-Former: Mask-Piloted Transformer for Image Segmentation

https://arxiv.org/abs/2303.07336

mask2former问题是:相邻层得到的掩码不连续,差别很大

denoising training非常有效地稳定训练时期之间的二分匹配。去噪训练的关键思想是将带噪声的GT坐标与可学习查询并行地送到Transformer解码器中,并训练模型去噪和恢复GT边框坐标。MPFormer去噪训练的思想从DN-DETR来,改进的mask2former模型。

MPformer送入class embeddings作为查询,给每层解码层送入GT masks作为attention masks,然后让模型重建类别和masks。

mask2former提出的mask attention可以使得训练时容易收敛。作者发现使得Vit类模型容易收敛的一些常识为给可学习的查询明确的意义,减少不确定性;二是给交叉注意力局部限制,更好的找到目标。因此作者认为给交叉注意力明确的导向可以提高分割性能。和DN-DETR不同,MPformer噪声可选择,可以没有。

作者把mask2former看做一个掩码不断精细化的过程,一层的预测作为下一层的attention masks。

MPformer是每层将GTmask作为attention masks,由于每层大小不一样,所以把GT使用双线性插值到不同分辨率。

加噪声的三种方式:

点噪声表现最好,所以用的点噪声。

Label-guided training:class embeddings会对应一个classification loss,class embeddings加噪声。

两种噪声,类别和掩码噪声的比例给的是0.2。

辅助函数:

结果

相关推荐
项目治理之道12 分钟前
可视化+AI:Visual ALM 正在重新定义2026年的项目协作
人工智能·项目管理工具·项目管理软件·项目管理系统·项目管理平台
szephyr18 分钟前
腾讯云 ADP 智能体上线后响应变慢,先查 RAG 召回链路还是 Workflow 分支?诊断路径与排查清单
大数据·人工智能·腾讯云
问商十三载20 分钟前
RAG的适用边界在哪里?2026年价值与局限详解
大数据·前端·人工智能
淼澄研学21 分钟前
Python构建AI应用:从环境配置到FastAPI部署的5个实操步骤
人工智能·python·fastapi
找方案30 分钟前
AI医疗大模型获批三类证:AI诊疗正式纳入正规医疗体系
人工智能·dubbo·ai医疗·ai医疗大模型·ai诊疗
黎阳之光37 分钟前
黎阳之光:用“视频孪生”擦亮国门智慧底色
大数据·人工智能·物联网·安全·数字孪生
ONEYAC唯样38 分钟前
唯样-MLCC、电阻、电感集体升温,AI时代正在重塑被动元件格局
人工智能
ZhiMuZhiLing1 小时前
B端销售线索管理优化:基于四象限分类的差异化跟进策略分析
大数据·人工智能·创业创新
Python私教1 小时前
Django + AI 做智能工单系统:自动分类、重复合并、服务时限与人工审批实战
人工智能·python·django
yuhulkjv3351 小时前
ChatGPT 复制有星号导出文档杂乱?AI 导出鸭一站式清理格式解决导出难题
人工智能·ai·chatgpt·ai导出鸭