BEVFormer: Learning Bird's-Eye-View Representation from Multi-Camera Images via Spatiotemporal Transformers
目录
- 摘要
- [1 介绍](#1 介绍)
- [2 相关工作](#2 相关工作)
-
- [2.1 基于Transformer的2D感知](#2.1 基于Transformer的2D感知)
摘要
3D视觉感知任务对于自动驾驶系统至关重要，包括基于多相机图像的3D检测和地图分割。在这项工作中，我们提出了一个名为BEVFormer的新框架，它使用时空变换器学习统一的BEV表示，以支持多种自动驾驶感知任务。简而言之，BEVFormer通过预定义的网格状的BEV查询来进行时空交互，以此来利用时空信息。为了聚合空间信息，我们设计了空间交叉注意力，每个 BEV查询从跨相机视图的感兴趣区域中提取空间特征。对于时间信息，我们提出时间自我注意力来循环融合历史BEV信息。我们的方法在 nuScenes 测试集上的NDS指标方面达到了新的最佳水平56.9%，比之前的最佳技术高出9.0分，与基于LiDAR的基线的性能相当。我们进一步表明，BEVFormer显著提高了低能见度条件下速度估计的准确率和目标的召回。代码可以在https://github.com/zhiqi-li/BEVFormer上找到。
1 介绍
3D空间中的感知对于自动驾驶、机器人等各种应用至关重要。尽管基于LiDAR的方法取得了显著进展，但基于相机的方法近年来引起了广泛关注。除了部署成本低之外，与激光雷达相比，相机还具有检测远距离物体和识别基于视觉的道路元素（例如交通灯、停止线）的理想优势。
图1 我们提出了BEVFormer，这是一种自动驾驶范例，它应用Transformer和Temporal结构从多相机输入中生成鸟瞰图(BEV)特征。BEV-Former利用查询来查找时空，并聚合其信息，从而有利于感知任务的更强的表征。
自动驾驶中对周围场景的视觉感知有望根据多个相机给出的二维线索预测三维边界框或语义图。最直接的解决方案是基于单目框架和多相机后处理。该框架的缺点是，它分别处理不同的视图，无法跨相机捕获信息，导致性能和效率较低。
作为单目框架的替代，更统一的框架是从多相机图像中提取整体表示。鸟瞰图(BEV)是周围场景的常用表示形式，因为它可以清晰地呈现物体的位置和比例，适用于各种自动驾驶任务，例如感知和规划。尽管先前的地图分割方法证明了BEV的有效性，但基于BEV的方法在3D物体检测方面并未表现出比其他范式更显著的优势。根本原因是3D物体检测任务需要强大的BEV特征来支持准确的3D边界框预测，但从2D平面生成BEV是不适当的。一种流行的生成BEV特征的 BEV框架基于深度信息，但该范式对深度值或深度分布的准确性很敏感。因此，基于BEV的方法的检测性能容易受到复合误差的影响，不准确的BEV特征会严重损害最终性能。因此，我们的目标是设计一种不依赖深度信息并且可以自适应地学习BEV特征而不是严格依赖3D先验的BEV生成方法。Transformer使用注意力机制来动态聚合有价值的特征，从概念上满足了你的需求。
使用BEV特征执行感知任务的另一个动机是BEV是连接时间和空间的理想桥梁。对于人类的视觉感知系统来说，时间信息在推断物体的运动状态、识别被遮挡的物体等方面起着至关重要的作用，视觉领域的许多研究已经证明了利用视频数据的有效性。然而，现有的最先进的多相机3D检测方法很少利用时序信息。重大挑战在于自动驾驶对时间至关重要并且场景中的物体变化很快，因此简单地堆叠跨时间戳的BEV特征会带来额外的计算成本和干扰信息，这可能并不理想。受到循环神经网络(RNN)的启发，我们利用BEV特征来循环传递从过去到现在的时间信息，这与RNN模型的隐藏状态具有相同的精神。
为此，我们提出了一种基于Transformer的鸟瞰图(BEV)编码器，称为BEVFormer，它可以有效地聚合来自多视角相机的时空特征和历史BEV特征。BEVFormer生成的BEV特征可以同时支持多个3D感知任务，例如3D物体检测和地图分割，这对于自动驾驶系统非常有价值。如图1所示，我们的BEVFormer包含三个关键设计。其一，网格状BEV查询通过注意力机制灵活地融合空间和时间特征。其二，空间交叉注意模块，用于聚合来自多相机图像的空间特征。其三，时间自注意力模块从历史BEV特征中提取时间信息，这有利于运动物体的速度估计和严重遮挡物体的检测，同时带来可忽略不计的计算开销。借助BEVFormer生成的统一特征，该模型可以与不同任务特定头（如可变形DETR和掩模解码器）协作，实现端到端3D目标检测和地图分割。我们的主要贡献如下：
- 我们提出了BEVFormer，这是一种时空变换器编码器，可将多相机和/或时间戳输入投射到BEV表示中。通过统一的BEV特征，我们的模型可以同时支持多项自动驾驶感知任务，包括3D检测和地图分割。
- 我们设计了可学习的BEV查询以及空间交叉注意层和时间自注意层，分别从跨相机中查找空间特征和从历史BEV中查找时间特征，然后将它们聚合为统一的BEV特征。
- 我们在多个具有挑战性的基准上对所提出的BEVFormer进行了评估，包括nuScenes和Waymo。与现有技术相比，我们的BEVFormer性能持续提升。例如，在可比较的参数和计算开销下，BEVFormer在nuScenes测试集上实现了56.9%的NDS，比之前的最佳检测方法DETR3D高出9.0分（56.9%对47.9%）。对于地图分割任务，我们也实现了最先进的性能，在最具挑战性的车道分割上比Lift-Splat高出5.0分以上。我们希望这个简单而强大的框架可以作为后续3D感知任务的新基础。
2 相关工作
2.1 基于Transformer的2D感知
最近，一种新的趋势是使用transformer来重新制定检测和分割任务。