论文阅读【检测】:Facebook ECCV2020 | DETR

文章目录

论文地址

DETR

Abstract

提出了一种将目标检测视为直接集预测问题 的新方法。简化了检测pipeline,有效地消除了许多手工设计的组件的需求,例如非最大抑制过程或锚生成,这些组件明确地编码了任务的先验知识。新框架的主要成分,是基于集合的全局损失,它通过二部匹配强制唯一的预测,以及变transformer encoder-decoder架构。给定一组固定的学习对象查询,DETR 推理对象和全局图像上下文的关系,以并行直接输出最终的预测集。DETR在具有挑战性的COCO对象检测数据集上展示了与成熟和高度优化的Faster RCNN基线相当的准确性和运行时性能。

Motivation

通常检测器通过在proposal、anchor 或center point 上定义代理回归和分类问题,以间接方式解决该集合预测任务。它们的性能受到后处理步骤、锚集的设计以及将目标框分配给锚的启发式方法显着影响。为了简化这些pipeline,所以提出了一种直接集预测方法来绕过代理任务。

模型框架

从论文图中可以看出,整个pipeline确实很简单。


详细结构

图像先经过下采样,用小的feature map输入transformer结构中,必然导致了对小目标检测效果较差。论文中也明确说了这个问题。 初始化的queries为0, 同时position embedding 每个模块都要加一次

Encoder

Decoder

小结

确实简化都不少手工设计的组建,但是在小目标的表现上较差。NMS感觉还是需要的,不可能刚刚好一个目标对应预测一个框。

相关推荐
王上上3 小时前
【论文阅读25】-滑坡时间预测-PFTF
论文阅读
李一帆'3 小时前
【论文阅读】Hierarchical Group-Level Emotion Recognition
论文阅读·计算机视觉
nenchoumi31191 天前
VLA 论文精读(十八)π0.5: a Vision-Language-Action Model with Open-World Generalization
论文阅读·人工智能·深度学习·语言模型·vla
江左子固2 天前
《Deep Learning Inference on Embedded Devices: Fixed-Point vs Posit》(一)
论文阅读
nenchoumi31192 天前
LLM 论文精读(二)Training Compute-Optimal Large Language Models
论文阅读·人工智能·笔记·学习·语言模型·自然语言处理
爱补鱼的猫猫2 天前
20、 DeepSeekMoE论文笔记
论文阅读·deepseekmoe
李一帆'2 天前
【论文阅读】Dual-branch Cross-Patch Attention Learning for Group Affect Recognition
论文阅读
初级炼丹师(爱说实话版)2 天前
Representation Flow for Action Recognition论文笔记
论文阅读
CV-杨帆2 天前
论文阅读:2025 arxiv AI Alignment: A Comprehensive Survey
论文阅读·人工智能
黄雪超3 天前
Flink介绍——实时计算核心论文之Dataflow论文详解
大数据·论文阅读·flink