摘要
最近，基于查询的Transformer解码器的兴起正在重塑基于相机的3D目标检测。这些基于查询的解码器正在超越传统的稠密BEV（鸟瞰图）方法。然而，我们认为稠密BEV框架仍然重要，因为它们在深度估计和目标定位方面具有出色能力，能够准确而全面地描绘3D场景。本文旨在通过引入我们提出的增强组件来解决现有基于稠密BEV的3D目标检测器的缺点，包括一个强制对象级一致性的CRF调制深度估计模块、一个具有扩展感受野的长期时序聚合模块，以及一个结合透视技术与CRF调制深度嵌入的两阶段目标解码器。这些增强导致了一个被称为BEVNeXt的"现代化"稠密BEV框架。在nuScenes基准上，BEVNeXt在各种设置下优于基于BEV和基于查询的框架，在nuScenes测试集上取得了64.264.264.2 NDS的最先进结果。代码将在https://github.com/woxihuanjiangguo/BEVNeXt提供。
图1. 先前SOTA与BEVNeXt在nuScenes 3D目标检测基准上的比较。在nuScenes验证集和测试集上，我们将BEVNeXt与先前SOTA进行比较，分别使用（ResNet-50，左图底部）、（ResNet-101，左图顶部）和（VoVNet-99，右图）作为骨干网络。BEVNeXt在综合性能方面优于所有先前稀疏查询方法，同时产生少得多的定位误差。每个气泡的直径表示每个模型产生的平均平均平移误差（mATE）。越高且气泡越小越好。最佳以彩色查看。
1. 引言
基于视觉的3D目标检测19, 30, 40, 63是自动驾驶和智能交通系统的关键组成部分。与能够访问深度数据的基于LiDAR的系统不同，基于视觉的3D目标检测的主要挑战是准确感知深度，这项任务在很大程度上依赖于图像的经验知识。作为检测的重要部分，目标定位严重依赖于深度的准确性49。精确而稳健的目标定位是3D感知的基石，因为它有助于识别障碍物1，为场景预测46, 71奠定基础，并导向令人安心的规划16, 55。
为了利用视觉信息检测3D目标，已有两种研究方向盛行：基于稠密BEV（鸟瞰图）的方法和基于稀疏查询的方法。基于BEV的方法将图像特征图变换为一个统一的稠密鸟瞰图特征图，然后在其上应用检测解码器。相比之下，基于稀疏查询的方法学习一组目标查询，这些查询关注稀疏的前景目标而不是背景细节，然后通过利用目标查询与图像特征之间的多阶段交叉注意力以及目标查询之间的自注意力来预测3D目标。
尽管最近的基于查询的方法优于基于稠密BEV的方法，我们坚持认为保留稠密特征图有利于完整的环境理解，无论背景还是前景元素。这一特性使基于BEV的框架适合稠密预测任务，例如遮挡......
- 2D建模不足。最近的稀疏查询方法已经证明，改进的2D建模可以显著提高检测精度21, 59。在基于稠密BEV的方法中，提升2D建模的努力包括由LiDAR输入监督的辅助深度估计任务29。然而，其影响受限于LiDAR点的低分辨率3，导致不精确的深度感知和次优的模型性能。
-
时序建模不足。BEV框架通常受限于有限的时序建模能力，而这对基于视觉的3D检测器至关重要36, 38, 49, 60。在时序融合期间，在动态3D空间中建立大感受野至关重要，尤其是当自车和周围物体处于运动状态时。基于查询的方法38, 60可以通过全局注意力机制58轻松实现这一点，而基于BEV的方法13, 49受限于卷积的局部性。
-
提升过程中的特征畸变。在基于稠密BEV的方法中，特征畸变是跨不同坐标系和分辨率变换特征图的自然结果。另一方面，稀疏查询方法不受影响，因为它们在2D空间中关注图像特征图，而不是变换后的特征，从而避免了特征畸变。
我们引入BEVNeXt，一个用于3D目标检测的现代稠密BEV框架，包含三个主要组件。首先，我们采用条件随机场（CRF）来增强深度准确性并解决深度监督挑战，将深度概率与颜色信息整合，而无需额外监督或显著计算成本。其次，受Res2Net卷积块启发的Res2Fusion模块在动态3D设置中扩展感受野。第三，利用预测的深度信息，我们开发了一个两阶段目标解码器。该解码器将稀疏查询技术的精神与CRF增强的深度嵌入相结合，利用聚焦深度的2D语义改进实例级BEV特征。总之，这些元素使BEVNeXt成为一个更强的目标检测和定位框架。
我们在nuScenes数据集上进行了深入实验。如图1所示，BEVNeXt在验证集和测试集上分别取得了最高的56.0%56.0\%56.0% NDS和64.2%64.2\%64.2% NDS，以及与所有先前方法相比最低的mATE，展示了其出色的综合性能和3D目标定位的精确性。更具体地说，BEVNeXt在验证集和测试集上分别比先前最先进的基于BEV的SOLOFusion49高出2.6%2.6\%2.6%和2.3%2.3\%2.3%。
2. 相关工作
2.1. 基于稠密BEV的3D目标检测
自LSS50的开创性工作以来，该工作引入了通过预测像素级深度概率将2D图像特征提升到BEV空间的概念，一个重要的研究方向13, 17-19, 28, 29, 49已经出现，致力于提高构建BEV空间的质量和效率，用于3D目标检测和其他感知任务（例如地图分割15, 45, 50、占据预测56, 57）。提升过程也称为前向投影32。特别是，BEVDet系列17-19提出了一种在BEV空间中执行3D目标检测的高效流水线，以及用于速度估计的短期时序建模17。BEVDepth29和BEVStereo28分别通过利用来自LiDAR点云的显式监督29和立体匹配28推进了关键的深度估计过程。为了利用长期时序信息扩展其能力，SOLOFusion49采用了一种跨历史BEV表示的简单拼接技术，展示了卓越的性能，而VideoBEV13通过循环建模缓解了SOLOFusion的沉重计算预算。然而，它们的长时融合策略受限于不足的感受野，并依赖自车运动变换来区分静止物体和运动物体，这可能导致动态物体的运动错位20。我们认为扩展感受野允许模型自动区分不同物体。
反向投影30, 65是前向投影的逆操作，一种采样多视图2D特征并用它们填充BEV空间的技术。在FB-BEV32和FB-OCC31中呈现的最新进展中，这两种投影技术被统一以获得更强的BEV表示，有利于3D目标检测和占据预测。该技术用于我们的目标解码器。然而，与先前工作不同，我们仅利用反向投影来细化对象级BEV特征，而不是整个BEV表示。此外，该过程由CRF调制深度嵌入增强，这被证明有利于属性预测。
2.2. 基于稀疏查询的3D目标检测
跟随基于查询的2D目标检测器5, 73，一个并行研究途径35, 40, 63已经出现。这种替代方法通过直接查询2D特征执行3D目标检测，绕过了显式3D空间构建的需要。查询过程通常使用传统注意力机制58进行，如PETR系列40, 41, 59, 60，或稀疏可变形注意力机制73，如Sparse4D系列35, 36。在SOLOFusion49出现后，PETR系列40, 41, 59拥抱长期时序融合的概念并将其整合到基于查询的框架中。通过查询空间中精心设计的传播算法，StreamPETR60与其静态40, 59或短期对应物41相比取得了实质性改进。此外，SparseBEV38最近的突破表明，这些目标查询可以在BEV空间中显式定义，而Far3D21通过使用2D目标检测器和深度网络构建3D查询，显著扩展了3D目标检测的范围。这些检测器往往产生更多定位误差，因为它们通过交叉注意力机制而不是深度信息来定位物体。与这些方法不同，我们的工作完全建立在稠密BEV框架之上，这些框架在目标定位方面通常更稳健。
2.3. 用于稠密预测的CRF
条件随机场（CRF）长期以来一直是解决稠密预测任务（如语义分割23和深度估计39）的基本工具，早于CNN的广泛采用。随着CNN的出现，CRF as RNN69首次表明CRF可以作为CNN的无缝部分演化，其工作是基于观察到的图像特征调制由最后一层CNN生成的像素级概率。对于深度估计，4将该任务视为像素级分类问题，使其适合CRF的应用，而37从连续深度值计算CRF能量。此外，在弱监督实例分割（WSIS）领域，像素级掩码注释不可用，24, 25利用CRF在具有相似颜色特征的像素之间强制预测一致性。
2.4. 使用LiDAR传感器的3D目标检测
LiDAR传感器广泛用于3D目标检测7, 11, 53, 54, 68, 70，因为它们生成可靠的距离信息。这些检测器通常从稠密编码的BEV特征11, 53, 68, 70或从稀疏体素7, 54解码物体。此外，LiDAR传感器与相机传感器联合用于多模态3D目标检测器2, 22, 43, 64, 67，因为它们具有互补性。该领域的进展通常直接应用于由稠密BEV框架17, 19生成的伪点云用于目标解码。类似地，我们的目标解码器从CenterFormer70和TransFusion2获得灵感，这是两个两阶段基于中心的检测器。我们的解码器不是稠密地关注图像特征2或BEV特征70，而是采用深度引导的透视细化，一种基于BEVFormer30的增强空间交叉注意力机制。
3. 方法
我们提出BEVNeXt，一个在现有基于LSS的方法基础上增强的稠密BEV框架。BEVNeXt包含三个关键组件，如图2所示：
BEV生成：给定多视图图像{Ii}i=16\{I^{i}\}{i = 1}^{6}{Ii}i=16，骨干网络提取多尺度图像特征，记为{F1/4i,F1/8i,F1/16i,F1/32i}i=16∗∗\{F{1 / 4}^{i},F_{1 / 8}^{i},F_{1 / 16}^{i},F_{1 / 32}^{i}\}{i = 1}^{6}**{F1/4i,F1/8i,F1/16i,F1/32i}i=16∗∗**，这些特征由深度网络处理以获得深度概率{di}i=16\{d^{i}\}{i = 1}^{6}{di}i=16。为了BEV特征的空间准确性，采用CRF层利用图像颜色信息{Ii}i=16\{\pmb{I}^i\}{i = 1}^6{Ii}i=16调制{di}i=16\{\pmb{d}^i\}{i = 1}^6{di}i=16，产生在对象级一致的深度概率{di}i=16\{\pmb{d}^i\}{i = 1}^6{di}i=16。然后，视图变换器使用特征和调制后的深度概率计算当前时间戳ttt的BEV特征BtB{t}Bt。
BEV编码器：BEV编码器设计用于将kkk帧的历史BEV特征{Bt−k+1,...,Bt}\{B_{t - k + 1},\dots,B_{t}\}{Bt−k+1,...,Bt}融合为统一的BEV表示Bˉ\bar{B}Bˉ。聚合过程需要在动态3D环境上具有足够的感受野，这在Res2Fusion中实现。
检测头：最后，基于中心的3D目标检测头68处理BEV编码器的输出Bˉ\bar{B}Bˉ，将BEV表示解码为3D目标。CRF调制深度概率{di}i=16\{\pmb{d}^i\}_{i = 1}^6{di}i=16用作嵌入，帮助目标解码器关注有判别力的2D特征。
在本节剩余部分，我们按照检测流水线的顺序详细说明这些组件的具体增强。
3.1. CRF调制的深度估计
在基于稠密BEV的方法中，深度估计作为2D辅助任务，改进2D建模并可能有助于防止提升过程中的特征畸变。因此，获得准确且更高分辨率的深度预测是有益的。将深度估计视为分割任务，每个类别表示特定深度范围，我们可以使用条件随机场（CRF）来增强深度估计质量。遵循CRF在稀疏监督预测任务中的使用24, 25, 37，我们旨在使用CRF调制深度估计，通过施加颜色平滑先验23来缓解深度监督不足，该先验在像素级强制深度一致性。令{X1,...,XN}\{X_{1},\dots,X_{N}\}{X1,...,XN}表示下采样特征图F1/niF_{1 / n}^{i}F1/ni中的NNN个像素，该特征图通过步长nnn获得，并令{D1,...,Dk}\{D_{1},\dots,D_{k}\}{D1,...,Dk}为kkk个离散深度箱。深度网络负责将每个像素分配到不同深度箱，表示为d={x1,...,xN∣xi∈{D1,...,Dk}}\pmb {d} = \{x_{1},\dots,x_{N}|x_{i}\in \{D_{1},\dots,D_{k}\}\}d={x1,...,xN∣xi∈{D1,...,Dk}}。为方便起见，丢弃相机索引。给定该分配d\pmb{d}d，我们的目标是最小化其对应的能量成本E(d∣I)E(d|\pmb {I})E(d∣I)，如下定义23：
E(d∣I)=∑iψu(xi)+∑i≠jψp(xi,xj),(1) E(\pmb {d}|\pmb {I}) = \sum_{i}\psi_{u}(x_{i}) + \sum_{i\neq j}\psi_{p}(x_{i},x_{j}), \quad (1) E(d∣I)=i∑ψu(xi)+i=j∑ψp(xi,xj),(1)
其中∑iψu(xi)\sum_{i}\psi_{u}(x_{i})∑iψu(xi)是一元势，衡量与深度网络初始输出相关的成本。基于先前研究4, 69，我们将成对势定义为：
ψp(xi,xj)=∑wwexp(−∣Iˉi−Iˉj∣22θ2)∣xi−xj∣,(2) \psi_{p}(x_{i},x_{j}) = \sum_{w}w\exp \left(-\frac{|\bar{I}{i} - \bar{I}{j}|^{2}}{2\theta^{2}}\right)|x_{i} - x_{j}|, \quad (2) ψp(xi,xj)=w∑wexp(−2θ2∣Iˉi−Iˉj∣2)∣xi−xj∣,(2)
图3. Res2Fusion概述。我们列出三种主要类型的BEV时序融合技术：（a）并行融合，（b）循环融合，以及（c）Res2Fusion（用于BEVNeXt）。
其中Iˉi\bar{I}{i}Iˉi和Iˉj\bar{I}{j}Iˉj表示图像块的平均RGB颜色值，其尺寸与下采样步长匹配。此外，∣xi−xj∣|x_{i} - x_{j}|∣xi−xj∣是两个深度箱之间的标签兼容性，衡量它们中心在真实世界尺度中的距离。CRF作为额外层附加到深度网络。我们将CRF调制的深度概率记为dˉ\bar{d}dˉ。
在依赖显式深度监督的现有基于BEV的解决方案中，例如BEVDepth29和SOLOFusion49，深度网络通常处理小尺度特征图（即F1/16iF_{1 / 16}^{i}F1/16i）。给定低分辨率输入，存在稠密深度标签覆盖，但代价是激进的降采样丢弃了太多标签。反过来，这损害了我们CRF调制深度估计的有效性，如表4所示。为了在这种分辨率约束下证明我们方法的有效性，我们的深度网络在更大的特征图（即F1/8iF_{1 / 8}^{i}F1/8i）上操作，同时将通道尺寸减半。然而，随着输入分辨率扩大，CRF调制的优势变得越来越明显，如表4所示。
3.2. Res2Fusion
基于稠密BEV的方法将当前BEV表示BtB_{t}Bt与过去表示在较长时间段内融合，这对于感知动态3D场景至关重要，尤其是在物体位置显著变化的长时间窗口上。然而，在BEV空间中扩展感受野具有挑战性；简单增加核大小会导致过多计算，并在均匀3D环境中存在过拟合风险6。
为解决这些问题，我们开发了一种名为Res2Fusion的时序聚合技术，如图3所示，它通过结合Res2Net架构12的多尺度卷积块来扩大感受野。给定kkk个历史BEV特征{Bt−k+1,...,Bt}\{B_{t - k + 1},\dots,B_{t}\}{Bt−k+1,...,Bt}，其中BtB_{t}Bt表示当前帧的BEV特征，我们首先将相邻BEV特征划分为g=kwg = \frac{k}{w}g=wk组，固定窗口大小为www，如果k mod w≠0k \bmod w \neq 0kmodw=0，则对最近最少的组使用零填充。窗口大小www决定聚合享有多少短期局部性。窗口划分后，对这些组分别使用1×11 \times 11×1卷积{Ki1×1}i=1g\{K_{i}^{1 \times 1}\}_{i = 1}^{g}{Ki1×1}i=1g以减少通道尺寸，可表示为：
Bi′=Ki1×1(Bt−(i+1)×w;...;Bt−i×w)(i=0,...,g),(3) B_{i}^{\prime} = K_{i}^{1\times 1}(B_{t - (i + 1)\\times w};...;B_{t - i\\times w})(i = 0,...,g), \quad (3) Bi′=Ki1×1(Bt−(i+1)×w;...;Bt−i×w)(i=0,...,g),(3)
其中⋅;⋅\\cdot ;\\cdot ⋅;⋅表示拼接操作。接下来，使用12提出的多尺度卷积如下：
Bi′′={Ki3×3(Bi′)ifi=g;Ki3×3(Bi′+Bi+1′)if0<i<g;Bi′ifi=0.(4) B_{i}^{\prime \prime} = \left\{ \begin{array}{ll}K_{i}^{3\times 3}(B_{i}^{\prime}) & \mathrm{if} i = g;\\ K_{i}^{3\times 3}(B_{i}^{\prime} + B_{i + 1}^{\prime}) & \mathrm{if} 0< i< g;\\ B_{i}^{\prime} & \mathrm{if} i = 0. \end{array} \right. \quad (4) Bi′′=⎩ ⎨ ⎧Ki3×3(Bi′)Ki3×3(Bi′+Bi+1′)Bi′ifi=g;if0<i<g;ifi=0.(4)
增加的感受野反过来允许我们跳过历史BEV之间的自车运动变换，从而避免先前技术13, 49中的运动错位问题20。最后，Res2Fusion模块的输出B~\tilde{B}B~可写为：
B~=Kfinal1×1(By′′;...;B0′′),(5) \tilde{B} = K_{final}^{1\times 1}(B_{y}\^{\\prime \\prime};...;B_{0}\^{\\prime \\prime}), \quad (5) B~=Kfinal1×1(By′′;...;B0′′),(5)
随后按照BEVDet19使用类似结构的跨步层和FPN34处理以获得多尺度信息。
3.3. 具有透视细化的目标解码器
在获得统一BEV表示B~\tilde{B}B~后，我们将基于LiDAR的3D目标检测头（例如CenterPoint Head68）应用于B~\tilde{B}B~进行最终检测。然而，前向投影扭曲2D特征，导致离散且稀疏的BEV表示，如FB-BEV32所观察到的。因此，我们旨在在将ROI（感兴趣区域）的BEV特征回归到对象属性之前，使用透视细化来补偿畸变。
在目标解码器中，我们遵循CenterPoint68，通过对BEV编码器B~\tilde{B}B~的输出应用3×33 \times 33×3卷积和sigmoid函数来计算目标热图HHH。热图HHH包含KKK个通道，对应KKK个目标类别。对于属性回归，我们首先通过采用热图阈值τ=0.1\tau = 0.1τ=0.1，从B~\tilde{B}B~中的目标中心采样特征Bcenter={B~x,y∣Hx,y>τ}B^{center} = \{\tilde{B}{x,y}|H{x,y} > \tau \}Bcenter={B~x,y∣Hx,y>τ}。由于CenterPoint中的回归头通常由三个卷积层组成（其中一个在所有头之间共享），我们通过考虑BcenterB^{center}Bcenter中每个元素的7×77 \times 77×7邻域区域，将BcenterB^{center}Bcenter扩展为BroiB^{roi}Broi。连同可学习查询集{Qx,y}\{Q_{x,y}\}{Qx,y}，特征集BroiB^{roi}Broi随后通过遵循30的空间交叉注意力层进行透视细化过程：
SCA(Bx,yroi,F1/n)=∑i=1N∑j=1NrefFd(Bx,yroi+Qx,y,Pi(x,y,zj),F1/ni),(6) \begin{array}{l}{SCA(B_{x,y}^{roi},F_{1 / n}) =}\\ {\sum_{i = 1}^{N}\sum_{j = 1}^{N_{ref}}\mathcal{F}d(B{x,y}^{roi} + Q_{x,y},\mathcal{P}i(x,y,z_j),F{1 / n}^i),} \end{array} \quad (6) SCA(Bx,yroi,F1/n)=∑i=1N∑j=1NrefFd(Bx,yroi+Qx,y,Pi(x,y,zj),F1/ni),(6)
其中Fd\mathcal{F}_dFd是可变形注意力函数73，Pi(x,y,zj)\mathcal{P}_i(x,y,z_j)Pi(x,y,zj)是提升到高度zjz_jzj的参考点。为了引入深度引导，我们用CRF调制深度概率d~i\tilde{d}^id~i嵌入2D特征，这些概率在利用颜色信息后在对象上一致：
SCA(Bx,yroi,F1/n)=∑i=1N∑j=1NrefFd(Bx,yroi+Qx,y,Pi(x,y,zj),F1/ni+Mlp(d~i)).(7) \begin{array}{rl} & {SCA(B_{x,y}^{roi},F_{1 / n}) =}\\ & {\sum_{i = 1}^{N}\sum_{j = 1}^{N_{ref}}\mathcal{F}d(B{x,y}^{roi} + Q_{x,y},\mathcal{P}i(x,y,z_j),F{1 / n}^i +M l p(\tilde{d}^i)).} \end{array} \quad (7) SCA(Bx,yroi,F1/n)=∑i=1N∑j=1NrefFd(Bx,yroi+Qx,y,Pi(x,y,zj),F1/ni+Mlp(d~i)).(7)
最后，CenterPoint的回归头将细化后的特征集BroiB^{roi}Broi回归为最终对象属性。
4. 实验
4.1. 实现细节
我们的BEVNeXt建立在BEVPoolv218之上，这是一个基于稠密BEV的框架，具有高效前向投影技术和来自BEVDepth29的相机感知深度网络。BEVPoolv2也是以下实验中的基线模型。作为默认配置，我们采用ResNet5014作为图像骨干，多视图图像输入分辨率为256×704256 \times 704256×704，BEV空间网格大小为128×128128 \times 128128×128。仅当我们使用更大骨干（即ResNet10114、Vit-Adapter-L8、V2-9926）时，BEV分辨率才增加到256×256256 \times 256256×256。为最大化CRF调制的效果，如第3.1节所述，深度网络在F1/8F_{1 / 8}F1/8上操作，以在输入分辨率256×704256 \times 704256×704下产生更细粒度的深度概率，而在其他情况下在F1/16F_{1 / 16}F1/16上操作。当考虑结合历史时序信息时，我们计算过去8帧加上当前帧的BEV特征，组织为3个BEV组，Res2Fusion窗口大小为3。
对于训练设置，我们的模型使用BEV和图像的数据增强进行训练19。采用CBGS策略72，持续12个epoch，前2个epoch不使用时序信息49。当采用ViT-Adapter-L和V2-99作为图像骨干时，采用较短的6个epoch以防止过拟合。我们使用AdamW优化器44，总批量大小为64。训练过程与BEVDepth29一致，其中深度网络和检测头在监督下同时优化。
4.2. 数据集和指标
我们在nuScenes3上进行了广泛评估，这是一个多模态数据集，包含1000个不同场景，使用32线LiDAR、六个环视相机和五个雷达以2Hz频率记录和注释。我们的评估基于nuScenes指标，包括平均平均精度（mAP）、平均平均平移误差（mATE）、平均平均尺度误差（mASE）、平均平均方向误差（mAOE）、平均平均速度误差（mAVE）、平均平均属性误差（mAAE）以及最终nuScenes检测分数（NDS）。3D多目标跟踪在平均多目标跟踪准确率（AMOTA）、平均多目标跟踪精度（AMOTP）、召回率和ID切换（IDS）上评估。
4.3. 主要结果
表1. 在nuScenes验证集上的比较。ViT-L10在COCO33和Objects36552上预训练，而ViT-Adapter-L8在DINOv247上预训练。* 骨干网络受益于透视预训练61。
| 方法 | 骨干 | 输入尺寸 | NDS↑ | mAP↑ | mATE↓ | mASE↓ | mAOE↓ | mAVE↓ | mAAE↓ |
|---|---|---|---|---|---|---|---|---|---|
| BEVDepth 29 | ResNet50 | 256 × 704 | 0.475 | 0.351 | 0.639 | 0.267 | 0.479 | 0.428 | 0.198 |
| BEVPoolv2 18 | ResNet50 | 256 × 704 | 0.526 | 0.406 | 0.572 | 0.275 | 0.463 | 0.275 | 0.188 |
| SOLOFusion 49 | ResNet50 | 256 × 704 | 0.534 | 0.427 | 0.567 | 0.274 | 0.511 | 0.252 | 0.181 |
| VideoBEV 13 | ResNet50 | 256 × 704 | 0.535 | 0.422 | 0.564 | 0.276 | 0.440 | 0.286 | 0.198 |
| Sparse4Dv2 36 | ResNet50 | 256 × 704 | 0.539 | 0.439 | 0.598 | 0.270 | 0.475 | 0.282 | 0.179 |
| StreamPETR 60 | ResNet50 | 256 × 704 | 0.540 | 0.432 | 0.581 | 0.272 | 0.413 | 0.295 | 0.195 |
| SparseBEV 38 | ResNet50 | 256 × 704 | 0.545 | 0.432 | 0.606 | 0.274 | 0.387 | 0.251 | 0.186 |
| BEVNeXt | ResNet50 | 256 × 704 | 0.548 | 0.437 | 0.550 | 0.265 | 0.427 | 0.260 | 0.208 |
| StreamPETR* 60 | ResNet50 | 256 × 704 | 0.550 | 0.450 | 0.613 | 0.267 | 0.413 | 0.265 | 0.196 |
| SparseBEV* 38 | ResNet50 | 256 × 704 | 0.558 | 0.448 | 0.581 | 0.271 | 0.373 | 0.247 | 0.190 |
| BEVNeXt* | ResNet50 | 256 × 704 | 0.560 | 0.456 | 0.530 | 0.264 | 0.424 | 0.252 | 0.206 |
| BEVDepth 29 | ResNet101 | 512 × 1408 | 0.535 | 0.412 | 0.565 | 0.266 | 0.358 | 0.331 | 0.190 |
| SOLOFusion 49 | ResNet101 | 512 × 1408 | 0.582 | 0.483 | 0.503 | 0.264 | 0.381 | 0.246 | 0.207 |
| SparseBEV* 38 | ResNet101 | 512 × 1408 | 0.592 | 0.501 | 0.562 | 0.265 | 0.321 | 0.243 | 0.195 |
| StreamPETR* 60 | ResNet101 | 512 × 1408 | 0.592 | 0.504 | 0.569 | 0.262 | 0.315 | 0.257 | 0.199 |
| Sparse4Dv2* 36 | ResNet101 | 512 × 1408 | 0.594 | 0.505 | 0.548 | 0.268 | 0.348 | 0.239 | 0.184 |
| Far3D* 21 | ResNet101 | 512 × 1408 | 0.594 | 0.510 | 0.551 | 0.258 | 0.372 | 0.238 | 0.195 |
| BEVNeXt* | ResNet101 | 512 × 1408 | 0.597 | 0.500 | 0.487 | 0.260 | 0.343 | 0.245 | 0.197 |
| StreamPETR 60 | ViT-L | 320 × 800 | 0.609 | 0.530 | 0.564 | 0.255 | 0.302 | 0.240 | 0.207 |
| BEVNeXt | ViT-Adapter-L 8 | 320 × 800 | 0.622 | 0.535 | 0.467 | 0.260 | 0.309 | 0.227 | 0.195 |
表2. 在nuScenes测试集上的比较。ConvNeXt-B42在ImageNet-22K9上预训练，而V2-99从DD3D48骨干初始化。所列方法在训练或测试期间不使用未来帧。
| 方法 | 骨干 | 输入尺寸 | NDS↑ | mAP↑ | mATE↓ | mASE↓ | mAOE↓ | mAVE↓ | mAAE↓ |
|---|---|---|---|---|---|---|---|---|---|
| BEVDepth 29 | V2-99 | 640 × 1600 | 0.600 | 0.503 | 0.445 | 0.245 | 0.378 | 0.320 | 0.126 |
| BEVStereo 28 | V2-99 | 640 × 1600 | 0.610 | 0.525 | 0.431 | 0.246 | 0.358 | 0.357 | 0.138 |
| SOLOFusion 49 | ConvNeXt-B | 640 × 1600 | 0.619 | 0.540 | 0.453 | 0.257 | 0.376 | 0.276 | 0.148 |
| FB-BEV 38 | V2-99 | 640 × 1600 | 0.624 | 0.537 | 0.439 | 0.250 | 0.358 | 0.270 | 0.128 |
| VideoBEV 13 | ConvNeXt-B | 640 × 1600 | 0.629 | 0.554 | 0.457 | 0.249 | 0.381 | 0.266 | 0.132 |
| BEVFormerv2 65 | InternImage-XL 62 | 640 × 1600 | 0.634 | 0.556 | 0.456 | 0.248 | 0.317 | 0.293 | 0.123 |
| StreamPETR 60 | V2-99 | 640 × 1600 | 0.636 | 0.550 | 0.479 | 0.239 | 0.317 | 0.241 | 0.119 |
| SparseBEV 38 | V2-99 | 640 × 1600 | 0.636 | 0.556 | 0.485 | 0.244 | 0.332 | 0.246 | 0.117 |
| Sparse4Dv2 36 | V2-99 | 640 × 1600 | 0.638 | 0.556 | 0.462 | 0.238 | 0.328 | 0.264 | 0.115 |
| BEVNeXt | V2-99 | 640 × 1600 | 0.642 | 0.557 | 0.409 | 0.241 | 0.352 | 0.233 | 0.129 |
表3. 在nuScenes测试集上的3D多目标跟踪。我们的方法使用V2-99作为骨干，而其他方法使用ConvNeXt-B。
| 方法 | AMOTA↑ | AMOTP↓ | RECALL↑ | IDS↓ |
|---|---|---|---|---|
| SPTR-QTrack 60, 66 | 0.566 | 0.975 | 0.650 | 784 |
| DORT 51 | 0.576 | 0.951 | 0.634 | 774 |
| BEVNeXt-PolyMot 27 | 0.578 | 0.917 | 0.720 | 519 |
这证明了BEVNeXt在轻量级设置下的检测能力。此外，配备ResNet101时，BEVNeXt比强查询框架Far3D21高出0.3%0.3\%0.3% NDS，而使用ViT-Adapter-L8时，BEVNeXt在验证集上产生了62.2%62.2\%62.2% NDS的新最先进结果。这些实验验证了我们提出的模块的可扩展性，使BEVNeXt能够在更大、更现代的骨干上蓬勃发展。在nuScenes测试集上，表2显示BEVNeXt在相同输入分辨率640×1600640 \times 1600640×1600下，使用中等规模V2-9926骨干优于所有先前方法。具体而言，BEVNeXt比基于BEV的SOLOFusion49高出2.3%2.3\%2.3% NDS，比基于查询的Sparse4Dv236高出0.4%0.4\%0.4% NDS。同时，BEVNeXt始终比先前检测器产生更少的平移误差（即mATE），证明其在目标定位方面的优越性。特别是，与Sparse4Dv236相比，BEVNeXt实现了低5.3%5.3\%5.3%的mATE。将PolyMot27跟踪器与BEVNeXt-V2-99的检测结果结合，BEVNeXt在nuScenes测试集上比基于BEV的专用跟踪器DORT高出0.2%0.2\%0.2% AMOTA（表3）。
4.4. 消融研究
表5. BEVNeXt组件消融。基线为BEVPoolv2，输入分辨率256×704256\times 704256×704，ResNet50作为骨干，长期历史为8帧。
| Res2Fusion | F1/n | CRF | Refinement | NDS↑ | mAP↑ |
|---|---|---|---|---|---|
| 16 | 0.526 | 0.406 | |||
| ✓ | 16 | 0.537 | 0.420 | ||
| ✓ | 8 | 0.540 | 0.430 | ||
| ✓ | 8 | ✓ | 0.542 | 0.434 | |
| ✓ | 8 | ✓ | ✓ | 0.548 | 0.437 |
不同组件的消融。为了验证我们提出的组件的有效性，我们逐步移除BEVNeXt的组件。如表5所示，缺少每个组件都会导致NDS和mAP的明显下降。虽然增加特征图尺度旨在适应CRF调制，但我们观察到这一修改本身带来性能提升（+0.3%0.3\%0.3% NDS），这也被SOLOFusion49做出的定位潜力分析所证实。BEVNeXt的集成版本与基线相比带来2.2%2.2\%2.2% NDS和3.1%3.1\%3.1% mAP的整体性能增益。
CRF调制。在表4中，研究了稀疏监督下CRF调制的作用。当监督已经稠密时，CRF调制的影响不显著（+0.2%0.2\%0.2% NDS），但在稀疏监督下变得显著得多（+1.9%1.9\%1.9% NDS）。可以看出，CRF调制提供的对象级一致性全面增强了BEV框架的检测性能，这也展示了使用更大骨干（即ResNet101）的可扩展性（+1.8%1.8\%1.8% NDS）。然而，在长期设置中，由于定位潜力饱和49，改进变得中等，如表5所示。
表4. 不同骨干和输入分辨率下CRF调制的消融。所有深度网络在F1/16F_{1 / 16}F1/16上操作。仅使用1个历史帧。在稠密点云监督下，CRF调制的影响较小。
| 骨干 | 输入尺寸 | LiDAR覆盖率 | CRF | NDS↑ | mAP↑ | mATE↓ | mAOE↓ | mAVE↓ |
|---|---|---|---|---|---|---|---|---|
| ResNet50 | 256 × 704 | ≈ 85% | ✓ | 0.490 | 0.368 | 0.628 | 0.485 | 0.355 |
| ResNet50 | 384 × 1056 | ≈ 65% | ✓ | 0.492 | 0.372 | 0.614 | 0.490 | 0.369 |
| ResNet101 | 512 × 1408 | ≈ 50% | 0.502 | 0.390 | 0.599 | 0.456 | 0.395 | |
| ResNet101 | 512 × 1408 | ≈ 50% | ✓ | 0.521 | 0.406 | 0.581 | 0.419 | 0.343 |
| ResNet101 | 512 × 1408 | ≈ 50% | ✓ | 0.535 | 0.412 | 0.565 | 0.358 | 0.331 |
| ResNet101 | 512 × 1408 | ≈ 50% | ✓ | 0.553 | 0.433 | 0.544 | 0.332 | 0.308 |
表6. Res2Fusion消融。我们比较不同窗口大小www以及自车运动变换在8个历史帧（总共9帧）上的效果。如果帧数不能被www整除，则使用零填充。
| 自车运动变换 | 窗口大小 w | NDS↑ | mAP↑ |
|---|---|---|---|
| - | 2 | 0.531 | 0.417 |
| ✓ | 3 | 0.535 | 0.416 |
| - | 3 | 0.537 | 0.420 |
| - | 4 | 0.529 | 0.418 |
Res2Fusion设计。表6显示Res2Fusion如何受窗口大小和自车运动变换影响。窗口大小决定并行处理的相邻BEV数量，这只需要比长期场景更小的感受野。我们的实验表明，窗口大小为3通过达到短期局部性和长期感受野之间的平衡，最大化了Res2Fusion的效果。此外，强制将先前BEV特征扭曲到当前时间戳会导致性能下降，这是由动态物体错位引起的20。
表7. 透视细化中深度嵌入的消融。所有深度网络在F1/8F_{1 / 8}F1/8上操作，因为输入分辨率为256×704256 \times 704256×704。仅使用1个历史帧。
| 深度嵌入 | 深度来源 | NDS↑ | mAP↑ |
|---|---|---|---|
| ✓ | - | 0.497 | 0.379 |
| ✓ | 深度网络 | 0.501 | 0.379 |
| ✓ | CRF | 0.505 | 0.382 |
深度嵌入的效果。在表7中，我们消融透视细化模块中深度嵌入的效果。深度嵌入的目的是通过在2D空间中形成对象级一致性，帮助3D目标解码器关注有判别力的特征。当深度由深度网络产生时，存在正向但轻微的影响。然而，当采用CRF调制深度信息时，我们见证NDS增加0.8%0.8\%0.8%，这是对象属性预测的提升。这一现象也验证了CRF调制的效果。
4.5. 可视化和效率分析
表8. 运行时效率分析。所列方法使用ResNet101作为图像骨干。SOLOFusion-R101和BEVNeXt-R101均使用256×256256\times 256256×256的BEV分辨率。
| 组件 | 增强 | 参数（M） | GFLOPs |
|---|---|---|---|
| 深度网络 | 无CRF | 27.3 | 3864.4 |
| 深度网络 | 有CRF | 27.3 | 3873.9 |
| BEV编码器 | 并行融合 | 54.6 | 172.8 |
| BEV编码器 | Res2Fusion | 6.9 | 31.4 |
| 检测头 | 无细化 | 1.6 | 99.7 |
| 检测头 | 有细化 | 2.3 | 125.4 |
| 方法 | 速度（FPS） |
|---|---|
| StreamPETR-R101 60 | 6.4 |
| SOLOFusion-R101 49 | 1.5 |
| BEVNeXt-R101 | 4.4 |
可视化。我们首先在图4中可视化CRF调制的深度估计。调制后的深度概率更贴近边界，并实现更高的对象级一致性。此外，它们包含更少的伪影，这些伪影会干扰BEV特征的空间准确性。对于透视细化，如图5所示，大物体和小物体都能从该过程中受益。与粗目标解码器相比，细化后的物体在方向方面更准确。
图4. 在nuScenes验证集上使用和不使用CRF调制的深度估计比较。我们使用对不同深度箱的argmax操作可视化深度范围。CRF调制的深度概率能够更好地区分物体和背景。
图5. 在nuScenes验证集上使用和不使用透视细化的检测结果比较。与CenterPoint头68的粗预测相比，我们细化后的物体与真实值更对齐。
效率分析。如表8所示，我们提出的模块需要可忽略甚至更少的计算，使其适合部署。使用PyTorch fp32后端和RTX 3090，尽管落后于基于查询的StreamPETR60，BEVNeXt比基于BEV的SOLOFusion49更快。这可以归因于没有时序立体，后者计算成本高昂。
5. 结论
在这项工作中，我们提出了一个完全增强的稠密BEV框架，用于多视图3D目标检测，称为BEVNeXt。我们首先识别了经典基于稠密BEV框架的三个缺点：（1）2D建模不足，（2）时序建模不足，以及（3）提升过程中的特征畸变。为解决这些固有問題，我们提出三个对应组件：（1）CRF调制深度估计，（2）用于长期时序聚合的Res2Fusion，以及（3）具有透视细化的目标解码器。进行了大量实验，表明BEVNeXt在目标定位方面表现出色，并在nuScenes基准上取代了稀疏查询范式和稠密BEV框架。具体而言，BEVNeXt在nuScenes验证集和测试集上分别取得了56.0%56.0\%56.0% NDS和64.2%64.2\%64.2% NDS的新最先进水平。
局限性。尽管BEVNeXt表现出比现有稀疏查询范式更强的性能，但在效率方面仍然落后。将BEV框架集成到长距离设置中也存在挑战。我们期望......