在雷达相机融合三维目标检测中，雷达点云稀疏、噪声较大 ，在相机雷达融合过程中提出了很多挑战。为了解决这个问题，我们引入了一种新的基于query的检测方法 Radar-Camera Transformer (RCTrans)。具体来说：
- 首先设计了一个雷达稠密编码器来丰富稀疏的有效的雷达token，然后将它们与图像token拼接起来。通过这样做可以充分挖掘每个感兴趣区域的3D信息，减少融合阶段空token的干扰。
- 然后设计了一个剪枝顺序解码器，根据获得的token和随机初始化的query来预测 3D 框。为了缓解雷达点云中高度测量值的歧义，我们通过顺序融合结构逐步定位物体的位置。它有助于在token和query之间获得更精确和更灵活的对应关系。
- 解码器采用剪枝训练策略，在推理过程中可以节省很多时间，抑制query失去独特性。在大规模nuScenes数据集上的大量实验表明了该方法的优越性，获得了新的SOTA的雷达相机融合3D检测结果。
项目链接：https://github.com/liyih/RCTrans
文章目录
Introduction
引言和相关工作部分这里就不介绍了，在原文中作者提出了雷达传感器的两个主要缺陷：稀疏和噪声大，这也是目前量产雷达最主要的痛点。导致非空的雷达pillars数量大概是激光雷达Pillars数量的10%。图一中作者比较了RCTrans模型和目前纯视觉以及相机雷达融合模型的对比，可以看到同等配置下，RCTrans都是优于RCBEVDet，在推理速度上略慢于RCBEVDet。
Method
Experiments
实验部分，作者使用的数据集是nuScenes数据集，主要对比了3D检测指标和3D追踪指标。实验细节部分：
- 基于StreamPETR和 MMDetection3D代码库实现 RCTrans。
- 和CRN一样，将4帧历史帧的信息聚集到当前帧，使用StreamPETR中提出的以目标为中心的时间建模来进行时间融合。
- 训练时解码器层数设置为 6，在推理过程中设置为3。在时间融合中，将剪枝后最后一层的输出插入到内存队列中。
- query数量、内存队列大小和传播query的数量分别设置为 900、512 和 128。
- 对于雷达，和CRAFT一样，聚集了6个过去雷达扫描帧，并将雷达点的最大数量设置为 2048。雷达 BEV 的大小设置为 128×128。
- 在8个NVIDIA A100 GPU 上训练网络，训练epoch数量为90，批量大小为 32。速度在单个NVIDIA RTX3090 GPU 上进行评估。学校率初始值为 1 0 − 4 10^{-4} 10−4，优化器使用的是AdamW。
下面是在验证集和测试集上3D检测任务的性能对比：
如表1所示，本文们的方法在不同的图像主干网下取得了最好的性能，时间消耗略有增加。例如，当使用 Swin-T 作为主干网并将图像大小设置为 256×704 时，与SOTA雷达相机解决方案 RCBEVDet 相比，RCTrans将NDS 提高了 3.2%，mAP 提高了 2.4%，而延迟增加了大约 5 毫秒。
多个主干网的实验结果表明，RCTrans具有良好的适应性，在实际应用中有利于模型部署和迁移。更重要的是，RCTrans击败了所有纯视觉的检测方法，包括我们的视觉基线模型 StreamPETR，这证明了我们的方法可以有效地使用雷达信息来补充检测结果。在nuScenes测试集上如表2所示，RCTrans取得了64.7%的NDS和57.8%的mAP，优于所有其它方法。值得注意的是，RCTrans在mAVE上获得了巨大的性能提升，证明了模型从雷达数据中提取有用的速度补偿信息。
如表3所示，将RCTrans与nuScenes测试集上现有的相机和雷达相机跟踪解决方案进行了比较。总体而言，我们的方法产生了最好的结果。与CRN相比，我们的方法显着提高了 AMOTA、FP、FN 和 IDS。我们比较的跟踪结果都是基于CenterPoint中基于速度的最近距离匹配获得的，因此跟踪性能的提高主要是由于我们的方法更准确地预测速度。