目标检测 Lite-DETR(2023)详细解读

文章目录

论文翻译: CVPR 2023 | Lite DETR:计算量减少60%!高效交错多尺度编码器-CSDN博客

DINO团队的

(Lightweight Transformer for Object Detection)它是对DETR(Transformers for Object Detection)模型的一种轻量级改进,在保持模型性能的同时,成功将Encoder的计算开销减少了50%

改进的是Encoder,提出交错的多尺度Encoder,

对低层级的特征图的token来说,将会耗费太多的计算量,模型的性能提升也比较少,但是也不能去掉这些低层级的特征,因为很多检测需要低层级的特征提供信息。如上图所示,去掉低层级的特征图,Encoder的计算量会得到大幅度的降低,相应小目标的检测精度也会下降,大目标的检测精度没有太大影响。

下图是各个特征图的token数量占总token的比例

如下图所示, S1 ∼ S3 作为高级特征 ,(a) 是 3.4 节中讨论的建议的高级特征更新,(b) 是 3.5 节中讨论的低级特征跨尺度融合。在每个高效编码器块中,多尺度特征将经过 A 次高级特征更新,然后在每个块的末尾进行低级特征更新。高效编码器块将执行 B 次。

迭代高级特征跨尺度融合

在不同的设置中,FH 可以包含前三个或两个刻度,为清楚起见,我们默认将 FH 设为 S1、S2、S3,将 FL 设为 S4。FH 被视为主要特征,更新频率较高,而 FL 更新频率较低。

在该模块中,高层特征 FH 将作为查询(Q),从所有尺度中提取特征,包括低层和高层特征标记。这一操作增强了高层语义和高分辨率细节对 FH 的表示。例如,如表 2 所示,在前两个尺度或前三个尺度中使用多尺度特征查询将分别大幅减少 94.1% 和 75.3% 的查询次数。我们还使用了将在第 3.6 节中讨论的关键字感知注意力模块 KDA 来执行注意力和更新标记。

高效的低层次特征跨尺度融合

低级特征包含过多的标记,这是导致计算效率低下的关键因素。因此,高效编码器会在一系列高级特征融合之后,以较低的频率更新这些低级特征。具体来说,我们利用初始低层次特征作为查询,与更新的高层次标记以及原始低层次特征进行交互,以更新它们的表示。与高层特征更新类似,我们也使用了与 KDA 注意层的交互。

KDA:Key-aware Deformable Attention

相关推荐
柠檬味拥抱3 分钟前
基于YOLOv8的无人机位置捕捉识别项目|完整源码数据集+PyQt5界面+完整训练流程+开箱即用!
人工智能
阿星AI工作室21 分钟前
扣子可以发布到小米搞钱了!手把手教程来了丨coze开发者瓜分亿级流量池指南
前端·人工智能·后端
WSSWWWSSW23 分钟前
Jupyter Notebook 中显示图片、音频、视频的方法汇总
ide·人工智能·jupyter·音视频·python notebook
Blossom.11829 分钟前
基于深度学习的医学图像分析:使用YOLOv5实现医学图像目标检测
人工智能·深度学习·yolo·目标检测·机器学习·计算机视觉·数据挖掘
居然JuRan1 小时前
一文读懂RAG评估:解锁大模型性能密码
人工智能
IT观察1 小时前
以需求破局:DPVR AI Glasses 重塑 AI 眼镜产业生态
人工智能
PixelMind1 小时前
【IQA技术专题】DISTS代码讲解
图像处理·人工智能·python·算法·iqa
大志说编程1 小时前
LangChain框架入门03:PromptTemplate 提示词模板
人工智能
岁月的眸2 小时前
【科普】贝叶斯神经网络与分形神经网络
人工智能·深度学习·神经网络
AI是草卖哩2 小时前
PINN+贝叶斯:深度学习中的魔改新思路
人工智能·深度学习·贝叶斯·pinn