目标检测 Sparse DETR（2022）详细解读

文章目录

• • 前景预测器和交叉注意力图（DAM）

Sparse DETR 通过以下方式改进了DETR：

1. 稀疏注意力：Sparse DETR 优化了交叉注意力机制，使其仅关注图像中可能包含目标的区域，而不是整个图像。这减少了计算量和提高了效率。
2. 前景预测器的监督：Sparse DETR 特别关注前景目标的预测。它通过解码器的交叉注意力图（DAM，Decoder's Cross-Attention Map）来实现这一点。DAM是基于解码器的查询和编码器的先验（来自编码器的输出）计算的。

前景预测器和交叉注意力图（DAM）

1. 前景预测器：这是一个网络头，用于预测图像中的哪些区域是前景（即包含目标的区域）。
2. 交叉注意力图（DAM） ：
   • DAM是通过解码器的查询和编码器的先验之间的交叉注意力计算得到的。
   • DAM用于确定解码器的哪些查询应该关注编码器的哪些位置，从而帮助模型集中注意力在包含目标的区域。
   • 通过这种方式，Sparse DETR 能够更有效地将解码器的查询与相关的编码器特征关联起来，从而提高目标检测的准确性。