论文阅读【检测】:Facebook ECCV2020 | DETR

文章目录

论文地址

DETR

Abstract

提出了一种将目标检测视为直接集预测问题 的新方法。简化了检测pipeline,有效地消除了许多手工设计的组件的需求,例如非最大抑制过程或锚生成,这些组件明确地编码了任务的先验知识。新框架的主要成分,是基于集合的全局损失,它通过二部匹配强制唯一的预测,以及变transformer encoder-decoder架构。给定一组固定的学习对象查询,DETR 推理对象和全局图像上下文的关系,以并行直接输出最终的预测集。DETR在具有挑战性的COCO对象检测数据集上展示了与成熟和高度优化的Faster RCNN基线相当的准确性和运行时性能。

Motivation

通常检测器通过在proposal、anchor 或center point 上定义代理回归和分类问题,以间接方式解决该集合预测任务。它们的性能受到后处理步骤、锚集的设计以及将目标框分配给锚的启发式方法显着影响。为了简化这些pipeline,所以提出了一种直接集预测方法来绕过代理任务。

模型框架

从论文图中可以看出,整个pipeline确实很简单。


详细结构

图像先经过下采样,用小的feature map输入transformer结构中,必然导致了对小目标检测效果较差。论文中也明确说了这个问题。 初始化的queries为0, 同时position embedding 每个模块都要加一次

Encoder

Decoder

小结

确实简化都不少手工设计的组建,但是在小目标的表现上较差。NMS感觉还是需要的,不可能刚刚好一个目标对应预测一个框。

相关推荐
UQI-LIUWJ2 小时前
论文笔记:Instruction-Tuning Llama-3-8B Excels in City-Scale MobilityPrediction
论文阅读
胆怯的ai萌新4 小时前
论文阅读《Proximal Curriculum for Reinforcement Learning Agents》——提升智能体学习速度的
论文阅读
墨绿色的摆渡人1 天前
论文笔记(七十四)Dense Policy: Bidirectional Autoregressive Learning of Actions
论文阅读
s1ckrain1 天前
【论文阅读】VideoMerge: Towards Training-free Long Video Generation
论文阅读·人工智能·计算机视觉
Ayakanoinu1 天前
【论文阅读】Dynamic Adversarial Patch for Evading Object Detection Models
论文阅读·目标检测·目标跟踪
寻丶幽风1 天前
论文阅读笔记——ReconDreamer
论文阅读·笔记·自动驾驶·3dgs·世界模型·闭环仿真
金科铁码1 天前
提示词工程 — 科研论文笔记
论文阅读
0x2112 天前
[论文阅读]Attacking Open-domain Question Answering by Injecting Misinformation
论文阅读
黄雪超2 天前
Flink介绍——实时计算核心论文之S4论文详解
大数据·论文阅读·flink
Matrix_112 天前
论文阅读:GS-Blur: A 3D Scene-Based Dataset for Realistic Image Deblurring
论文阅读·人工智能·计算摄影