目标检测 Lite-DETR(2023)详细解读

文章目录

论文翻译: CVPR 2023 | Lite DETR:计算量减少60%!高效交错多尺度编码器-CSDN博客

DINO团队的

(Lightweight Transformer for Object Detection)它是对DETR(Transformers for Object Detection)模型的一种轻量级改进,在保持模型性能的同时,成功将Encoder的计算开销减少了50%

改进的是Encoder,提出交错的多尺度Encoder,

对低层级的特征图的token来说,将会耗费太多的计算量,模型的性能提升也比较少,但是也不能去掉这些低层级的特征,因为很多检测需要低层级的特征提供信息。如上图所示,去掉低层级的特征图,Encoder的计算量会得到大幅度的降低,相应小目标的检测精度也会下降,大目标的检测精度没有太大影响。

下图是各个特征图的token数量占总token的比例

如下图所示, S1 ∼ S3 作为高级特征 ,(a) 是 3.4 节中讨论的建议的高级特征更新,(b) 是 3.5 节中讨论的低级特征跨尺度融合。在每个高效编码器块中,多尺度特征将经过 A 次高级特征更新,然后在每个块的末尾进行低级特征更新。高效编码器块将执行 B 次。

迭代高级特征跨尺度融合

在不同的设置中,FH 可以包含前三个或两个刻度,为清楚起见,我们默认将 FH 设为 S1、S2、S3,将 FL 设为 S4。FH 被视为主要特征,更新频率较高,而 FL 更新频率较低。

在该模块中,高层特征 FH 将作为查询(Q),从所有尺度中提取特征,包括低层和高层特征标记。这一操作增强了高层语义和高分辨率细节对 FH 的表示。例如,如表 2 所示,在前两个尺度或前三个尺度中使用多尺度特征查询将分别大幅减少 94.1% 和 75.3% 的查询次数。我们还使用了将在第 3.6 节中讨论的关键字感知注意力模块 KDA 来执行注意力和更新标记。

高效的低层次特征跨尺度融合

低级特征包含过多的标记,这是导致计算效率低下的关键因素。因此,高效编码器会在一系列高级特征融合之后,以较低的频率更新这些低级特征。具体来说,我们利用初始低层次特征作为查询,与更新的高层次标记以及原始低层次特征进行交互,以更新它们的表示。与高层特征更新类似,我们也使用了与 KDA 注意层的交互。

KDA:Key-aware Deformable Attention

相关推荐
VIP_CQCRE4 小时前
GPT Image 2.6 商品图换背景后悬浮?接触阴影、透明区域与反射验收
图像处理·人工智能·ai·电商
泯泷5 小时前
别再傻傻地喂文件了,大厂都在偷偷给AI建这种“专属图书馆”
人工智能
oak隔壁找我5 小时前
一款运行在 DSH(DeepSeek Harness)中的类 Postman HTTP 接口调试插件
人工智能·程序员
高洁015 小时前
数字孪生与计算机视觉:让机器看懂现场
人工智能·python·机器学习·transformer·迁移学习
Csvn6 小时前
如果明天供应商涨价 3 倍?三层解耦,换模型只改一行配置(C05)
人工智能·aigc·agent
在所不辞兄7 小时前
为什么数字孪生驱动的产线标定需要在线更新机制,而不能一次标定后长期沿用?
人工智能·神经网络·其他·算法·机器学习
锋行天下7 小时前
langgraph 全栈项目(三)
前端·人工智能·后端
黄啊码8 小时前
【黄啊码】最近面了十几个想转 FDE 的程序员,一个都没招
人工智能
锋行天下8 小时前
langgraph 全栈项目(二)
前端·人工智能·后端
大模型真好玩8 小时前
用 Seedance 2.5 Flash 实现1分钟AI短剧,满足孩子的超级英雄对战梦
人工智能·aigc·deepseek