BEVDepth- Acquisition of Reliable Depth for Multi-view 3D Object Detection

中科院 旷视 AAAI 2023

纯视觉多相机BEV方案检测模型

code：https://github.com/Megvii-BaseDetection/BEVDepth

paper：BEVDepth: Acquisition of Reliable Depth for Multi-View 3D Object Detection| Proceedings of the AAAI Conference on Artificial Intelligence

输入：N帧环视相机

过程：

1. CNN抽2D图像特征
2. DepthNet从2D特征建模深度
   1. 点云+相机内外参计算图像深度信息（2.5D图像）
   2. min pooling+one hot，计算深度真值
   3. depth网络里加残差、deformable conv扩大感受野，抵消相机外参变化带来的影响（？）
   4. camera-awareness DepthNet
      1. 目的：提升深度分类效果
      2. 方案：相机内参作为DepthNet网络输入
         1. MLP层：expand内参到特征同维数
         2. SE层：融合2D特征+相机内外参
   5. 提效voxel pooling
      1. 方案：自定义cuda算子VoxelPoolingTrain
3. view transformer用2D图像特征+深度获取3D特征，再投射成bev表征
4. CenterPoint 3D检测头识别检测框（class，3Dbox offset，属性等）