coordinate：坐标
fit:拟合
图像：我们提出了一种基于中心的框架来表示，检测和追踪目标。以前的基于锚点的方法使用相对于自行车坐标系的轴对齐锚点。当车辆在直行道上行驶时，基于锚点和我们的基于中心的方法能够准确地检测目标。然而，当发生安全关键点左转时，基于锚点的方法和难以将轴对齐的边界框拟合到旋转后的目标上。我们的基于中心的方法通过旋转不变的点准确地检测目标。最佳观看效果为彩色。
Abstract
benchmark--基准
State-of-the-Art当前最先进的
nuScenes自动驾驶 / 智能网联汽车领域最经典的公开多模态数据集
NDS：检测 → 每一帧物体 3D 框准不准
AMOTA：跟踪 → 前后帧能不能把同一个目标串成稳定轨迹、不乱换 ID
三维目标在点云中通常用 3D 框来表征。这种表征方式借鉴了研究成熟的图像二维边界框检测范式，但也带来了额外的难题：三维空间中的目标朝向是任意的，基于框的检测器难以枚举全部朝向，也难以对旋转的目标适配轴对齐包围盒。 本文提出改用点来表征、检测并跟踪三维目标。我们的框架 CenterPoint 首先利用关键点检测器识别目标中心点，再回归得到其余属性，包括三维尺寸、朝向以及速度。在第二阶段，该网络借助目标上额外的点特征对上述预测结果做精修。 在 CenterPoint 中，3D 目标跟踪简化为贪心最近点匹配。最终得到的检测跟踪算法简洁、高效且效果优异。单个 CenterPoint 模型在 nuScenes 基准数据集上，在 3D 检测与跟踪任务上均取得了当前最优效果，NDS 为 65.5，AMOTA 为 63.8。在 Waymo 开放数据集上，CenterPoint 大幅超越此前所有单模型方法，在所有仅使用激光雷达的提交方案中排名第一。代码与预训练模型已开源： GitHub - tianweiy/CenterPoint · GitHub
在nuScenes基准测试中，CenterPoint在3D检测和追踪方面取得了先进的性能.单模型达到了65.5NDS和63.8AMOTA.在Waymo开发数据集上，CenterPoint以较大的优势胜过了所有以前的单一模型方法，并且在所有纯激光雷达提交中排名第一。
代码和训练模型：https://github.com/tianwei-yin/CenterPoint获取。
整套流程里包含的函数
- 模型函数（网络本身：卷积、MLP、voxel 卷积等）
- 激活函数（非线性变换，插在模型层中间）
- 损失函数（Loss function，用来打分、衡量好坏）
- 优化器里面的梯度函数（求导，更新参数）
模型函数负责猜，激活函数让它能学会复杂东西，损失函数告诉它猜得有多差，梯度 + 优化器负责修改模型，慢慢猜得越来越准。
拿到原始数据集 → 划分数据集 → 数据预处理 → 构建网络、损失、优化器 → 循环迭代训练（前向→算 loss→反向传播→更新权重）→ 每轮验证 → 训练结束，保存最好模型 → 测试评估
1.Introduction:
sparse：稀疏的
aligned:对齐的
planar:平面
强大的3D感知是许多最先进驾驶系统的核心要素。与已被广泛研究的2D检测问题相比，点云上的3D检测提供了一系列更有趣的挑战：首先，点云是稀疏的，3D空间的大部分区域没有测量值。第二，最终的输出是一个三维边界框，它通常无法与任何全局坐标系对齐。第三，3D目标的尺寸，形状和宽高比变化很大，例如，在交通领域中，自行车近乎平面，公交车长，加长轿车更长，行人高。2D和3D检测之间的这些显著差异使得在这两个领域之间进行思想迁移变得更加困难.
crux:关键核心
introduce：引入，提出
argue:主张
i.e. = 等同，也就是，即
激光雷达骨干（LiDAR backbone）：专门从无序点云里提取三维几何特征的网络
VoxelNet ：栅格式，把空间切成一个个 3D 小方块（voxel 体素），每个体素内部用小型 PointNet 编码点，再接 3D 卷积；缺点是稠密 3D 卷积很慢
PointPillars：把激光雷达无序点云，变成鸟瞰视角的伪图像，再用普通 2D 卷积做 3D 检测，主打速度快，适合自动驾驶实时部署
overhead map-view：鸟瞰图---BEV
regress:回归
propertiy:属性
intrinsic：内在的
offset:相对偏移
frames:帧
mAP:平均精度均值,范围越高越好，范围0-1，管 "有没有找对物体、位置对不对"
mAPH：不仅要找对位置，车头朝向也要准
end-to-end:端到端
FPS:每秒帧数
sidestep：绕过
SSD：单发多框检测器
其关键在于，轴对齐的2D边界框不能很好的代表自由形态的3D目标。一种解决方案可能是为每个目标的方向分类不同的模板（锚点），但这会不必要地增加计算负担，并可能引入大量潜在的误报检测。我们认为，连接2D和3D领域的主要潜在挑战在于这种目标的表示方法。
在本文中，我们展示了如何将目标表示为点极大地简化了3D识别。我们的两阶段3D检测器，CenterPoint使用关键点检测器找到物体的中心及其属性，并通过第二阶段细化所有的估计值。
具体而言，CenterPoint使用标准的基于激光雷达的骨干网络。即VoxelNet 或 PointPillars,来构建输入点云的表示。之后将其展平为鸟瞰图，并使用标准的基于图像的关键点检测器来寻找物体中心。对于每个检测到的中心，它从中心位置的点特征回归出所有其他物体属性，例如3D尺寸，方向和速度。此外，我们使用一个轻量级的第二阶段来细化物体位置。这个第二阶段在估计的3D边界框每个面的3D中心处提取点特征。它恢复了由于步长和有限感受视野而丢失的局部几何信息，并以微小的代价带来了可观的性能提升。基于中心的表示具有几个关键优势：首先：与边界框不同，点没有内在的方向。这极大地减少了目标检测器的搜索空间，同时允许骨干网络学习物体的旋转不变性及其相对运动的旋转等变性。其次，基于中心的表示简化了诸如跟踪等下游任务。如果无提示是点，轨迹是空间空间和时间上的路径。CenterPoint 预测连续帧之间物体的相对偏移（速度），然后将其贪婪地连接起来。第三，基于点的特征提取使我们能够设计一个有效的两阶段细化模块，这比之前的方法快得多。我们在两个流行的大型数据集上测试了我们的模型：Waymo 开放数据集和 nuScenes 数据集 。我们表明，从边界框表示简单切换到基于中心的表示，在不同的骨干网络 下，3D 检测的 mAP 提高了 3-4。两阶段细化以计算开销很小进一步带来了额外2mAP的提升。我们最好的单一模型在 Waymo 上实现了车辆和行人检测的 71.8 和 66.4 二级 mAPH，在 nuScenes 上实现了 58.0 mAP 和 65.5 NDS，在两个数据集上都优于所有已发表的方法。值得注意的是，在 NeurIPS 2020 nuScenes 3D 检测挑战赛中，CenterPoint 被用于前 4 名获奖作品中的 3 个。对于 3D 跟踪，我们的模型在 nuScenes 上达到了 63.8 AMOTA，比之前的最先进技术高出 8.8 AMOTA。在 Waymo 3D 跟踪基准上，我们的方法在车辆和行人跟踪方面分别实现了 59.4 和 56.6 的二级 MOTA，比以前的方法高出高达 50%。我们的端到端 3D 检测和跟踪系统接近实时运行，在 Waymo 上达到 11 FPS，在 nuScenes 上达到 16 FPS。
2.相关工作
Vote3Deep:利用以特征为中心的投票（feature-centric voting）来高效处理等间距 3D 体素上的稀疏 3D 点云
encoder：编码
2D 图像：平面，最小单元叫 像素 pixel (x,y)
3D 空间：立体，最小立方体小格子叫 体素 voxel (x,y,z)
Vote3Deep：体素里的特征投票找中心，框固定，早期探索
VoxelNet：体素内部先学习点特征，再卷积 + anchor 回归，现代体素检测起点
SECOND：3D 稀疏卷积先提取 voxel 的 3D 特征 → 压成 BEV，精度更高，但依然有 3D 稀疏卷积，实现稍复杂
PointPillars：直接把 voxel 压成沿 Z 轴拉长的 pillar（柱子），跳过 3D 卷积，直接得到 BEV 图，全程只用 2D 卷积，速度更快，精度略低于 SECOND
PIXOE:早期 BEV 单阶段、无候选框（proposal-free）、anchor-free 思路的激光 3D 检测，直接在鸟瞰图上做像素级密集预测
Anchor-based（MVF）：预先在每个位置放一堆固定模板框（anchor），网络只学 "和模板差多少"；Anchor-free（Pillar-OD）：不预设模板，每个 pillar 直接从自身特征回归物体参数。
投票：让一堆特征 / 点，各自投一票，票累加起来，票数最高的位置，就是预测的物体中心。
Vote3Deep（早期体素投票范式，推理速度慢）→ VoxelNet（首个端到端体素 3D 检测器，稠密 3D 卷积 + VFE）→ SECOND（引入子流形稀疏卷积优化 VoxelNet，anchor-based，成为工业经典基线）；同期衍生 BEV 多视图方向：PointPillars（提出 pillar 编码，移除 3D 卷积，纯 2D 卷积实现极致加速，anchor-based）→ MVF（在 PointPillars 基础上，BEV+RangeView 双视图融合、动态体素化，依旧 anchor-based）→ Pillar-OD（保留 BEV+RangeView 多视图 pillar 融合思路，改为 anchor-free，规避 anchor 枚举朝向的调参难题）→ CenterPoint（可复用 SECOND、PointPillars 骨干网络，抛弃 anchor，采用高斯热力图中心点回归的 anchor-free 范式）
single positive cell 单个正样本栅格
RCNN：先粗找候选框（proposal），再拿候选区域的特征做分类 + 框精修。
RoIPool3D：把这个 3D 立方体 RoI 均匀切分成 k×k×k 个小 bin（三维格子），每个 bin 里面所有体素特征做最大池化，输出一个值。最后得到固定 k×k×k 的特征块。
RoIAlign3D：不取整，用三维插值（三线性插值）采样特征，消除量化误差，特征对齐更精准，效果更好，代价计算稍微高一点。
池化（Pooling）:下采样、压缩特征，在一块区域里，按规则选出一个代表值，把一大片特征浓缩成一个，减少数据量、保留关键信息。
下采样（Downsampling）把特征图 / 点云的分辨率降低、数量变少，用更少的数据代表原来区域的信息。
readily：易于、直接、方便地
3D 卡尔曼滤波器：给每个 3D 检测框（3D bbox）做时序状态估计，融合历史轨迹 + 当前检测器观测，输出更平滑、抗噪声的目标状态，用来做跟踪。
2D目标检测从图像输入预测轴对齐的边界框，RCNN 家族发现类别无关的边界框候选，然后对其进行分类和细化。YOLO、SSD和 RetinaNet直接找到特定类别的框候选，绕过了后续的分类和细化。基于中心的检测器，例如 CenterNet或 CenterTrack，直接检测隐式物体中心点，而不需要候选框。许多 3D 目标检测器是从这些 2D 目标检测器演变而来的。我们认为，与轴对齐的边界框相比，基于中心的表示在3D 应用中更合适。3D 目标检测旨在预测三维旋转边界框，它们在输入编码器方面与 2D 检测器不同。VoxelDeep利用以特征为中心的投票来高效处理等间距 3D 体素上的稀疏 3D 点云。VoxelNet 在每个体素内使用 PointNet生成统一的特征表示，然后由带有 3D 稀疏卷积 和 2D 卷积的检测头产生检测结果。SECOND简化了 VoxelNet 并加速了 3D 卷积。PIXOR将所有点投影到具有 3D 占用率和点强度信息的 2D 特征图上，以消除昂贵的 3D 卷积。PointPillars用柱子（pillar）表示替换所有体素卷积，即每个地图位置使用一个高而细长的体素，从而提高骨干网络的效率。MVF和 Pillar-od结合多视图特征来学习更有效的柱子表示。我们的贡献集中在输出表示上，并且与任何 3D 编码器兼容，可以改善它们所有的性能。VoteNet通过使用点特征采样和分组的投票聚类来检测物体。相比之下，我们直接通过中心点的特征回归 3D 边界框，而不进行投票。Wong 等人和 Chen 等人在物体中心区域使用了类似的多点表示（即点-锚点）并回归其他属性。我们为每个物体使用一个正样本单元，并使用关键点估计损失。两阶段 3D 目标检测。最近的研究考虑将 RCNN 风格的 2D 检测器直接应用于 3D 领域。它们中的大多数应用 RoIPool3D或 RoIAlign3D在 3D 空间中聚合特定于感兴趣区域（RoI）的特征，使用基于点或体素的特征提取器。这些方法从 3D 激光雷达测量（点和体素）中提取区域特征，由于点数量庞大，导致运行时间令人望而却步。相反，我们从中间特征图中提取 5 个表面中心点的稀疏特征。这使得我们的第二阶段非常高效且保持有效。3D 目标跟踪。许多 2D 跟踪算法可以直接开箱即用地跟踪 3D 物体。然而，基于 3D 卡尔曼滤波器的专用 3D 跟踪器依然屹立不倒，因为它们能更好地探索场景中的三维运动。在这里，我们采用了一种更简单的方法，我们使用速度估计结合基于点的检测，在多帧中跟踪物体的中心。这种跟踪器比专用的 3D 跟踪器更快且更准确。
3. 预备知识
repurpose改造复用
rendered渲染
高斯核 Gaussian kernel，高斯核生成高斯热力图
class-agnostic类别无关
retrieves检索
2D CenterNet将目标检测重新定义为关键点估计。它以图像为输入，并为 K 个类别中的每一个预测一个 W×H的热图
。每个局部最大值（即输出热图中像素值大于其 8 个相邻像素的像素）对应于被检测物体的中心。为了恢复 2D 边界框，CenterNet 回归一个在所有类别之间共享的尺寸图
对于每个检测到的物体，尺寸图在中心位置存储其宽度和高度。CenterNet 架构使用标准的全卷积图像骨干网络，并在顶部添加一个密集预测头。在训练期间，CenterNet 学习预测热图，在对于每个类别ci∈{1...,K} 的每个标注物体中心qi处渲染高斯核，并在标注边界框的中心回归物体尺寸 s。为了弥补骨干网络架构步长带来的量化误差，CenterNet 还回归一个局部偏移量 o。在测试时，检测器生成K热图和不区分类别的密集回归图。热图中的每个局部最大值等同于一个物体，其置信度与峰值处的热图值成正比。对于每个检测到的物体，检测器在相应的峰值位置从回归图中检索所有回归值。根据应用领域的不同，可能需要进行非极大值抑制（NMS）。
generality通用性
3D 检测
设 P={(x,y,z)}为包含三维位置 (x,y,z)和反射率/测量值的无序点云。3D 目标检测旨在从该点云中预测鸟瞰图视角下的一组 3D 物体边界框
每个边界框 b=(w,l,h,x,y,z,θ)包含一个中心位置 (x,y,z)相对于物体所在的地平面）、3D 尺寸 (w,l,h)以及用偏航角θ表示的旋转。不失一般性，我们使用以传感器为原点 (0,0,0)且偏航角为 0 的自车中心坐标系。现代 3D 目标检测器使用 3D 编码器将点云量化到规则的分箱（bins）中。然后，基于点的网络提取分箱内所有点的特征。接着，3D 编码器将这些特征池化为其主要的特征表示。大部分计算发生在骨干网络中，该网络分别对这些量化并池化后的特征表示进行操作。骨干网络的输出是一个鸟瞰图特征图
在鸟瞰图参考系中具有宽度 W、长度 L以及 F 个通道。宽度和高度直接与单个体素分箱的分辨率以及骨干网络的步长相关。常见的骨干网络包括 VoxelNet和 PointPillars 。利用鸟瞰图特征图 M，检测头（最常见的是单阶段 32 或两阶段 43 边界框检测器）随后从锚定在这个俯视特征图上的一些预定义边界框中生成物体检测结果。因为3D 边界框具有各种尺寸和方向，基于锚框的 3D 检测器很难将一个轴对齐的 2D 框拟合到一个 3D 物体上。此外，在训练阶段，以往基于锚框的三维检测器依靠二维框交并比（2D Box IoU）来完成目标分配，这为针对不同类别、不同数据集选取正负样本阈值带来了不必要的负担。在下一节中，我们将展示如何基于点表示法构建一个原则性的 3D 目标检测与跟踪模型。
4. CenterPoint
焦点损失（Focal Loss）改良版交叉熵，专门解决稠密检测里「背景海量、目标极少」的正负样本极度不平衡问题
render：渲染得到的
overview：概述
IoU（预测框和真值框的交并比）
elevation：高程、高度
图2： 我们CenterPoint框架的概述。我们依赖标准的3D骨干网络从激光雷达点云中提取鸟瞰图（map-view）特征表示。然后，一个2D CNN架构的检测头找到物体中心，并使用中心特征回归出完整的3D边界框。该边界框预测用于在估计的3D边界框每个面的3D中心处提取点特征，这些特征被传入MLP（多层感知机），以预测IoU引导的置信度分数和边界框回归细化。建议在彩色下观看。
图 2 展示了 CenterPoint 模型的整体框架。设
为 3D 骨干网络的输出。CenterPoint 的第一阶段预测特定类别的热图、物体尺寸、亚体素位置细化、旋转和速度。所有输出均为密集预测。中心热图头。中心检测头的目标是在任何检测到的物体的中心位置产生一个热图峰值。该分支输出一个 K 通道的热力图
，K 个类别各自对应一个通道。在训练期间，它以将标注边界框的 3D 中心投影到鸟瞰图所产生的 2D 高斯分布为目标。我们使用焦点损失（focal loss）。在俯视鸟瞰图中，物体比在图像中更稀疏。在鸟瞰图中，距离是绝对的，而图像视图由于透视会扭曲它们。考虑一个道路场景，在鸟瞰图中车辆占用的面积很小，而在图像视图中，少数几个大型物体可能会占据屏幕的大部分。此外，透视投影中深度维度的压缩，自然导致物体中心在图像视图中彼此靠得更近。遵循 CenterNet的标准监督会得到一个非常稀疏的监督信号，其中大多数位置被认为是背景。为了抵消这一点，我们通过扩大在每个真实值物体中心渲染的高斯峰值，来增加目标热图 Y的正向监督。具体而言，我们将高斯半径设置为 
，其中 τ=2是最小允许的高斯半径，而 f是 CornerNet 29 中定义的半径函数。通过这种方式，CenterPoint 保持了基于中心的目标分配的简洁性；模型从附近的像素获得了更密集的监督。
回归头，我们在物体的中心特征处存储几个物体属性：亚体素位置细化 
离地高度 
、3D 尺寸
，以及偏航旋转角
。亚体素位置细化 o减少了量化误差来自骨干网络的体素化和步长。离地高度
有助于在3D中定位物体，并补充了鸟瞰图投影所移除的高程信息。方向预测使用偏航角的正弦和余弦作为连续回归目标。结合边界框尺 寸，这些回归头提供了3D边界框的完整状态信息。每个输出使用其独立的头。在训练时，仅对真实值中心使用L1回归损失进行监督。我们回归对数尺寸，以更好地处理各种形状的边界框。在推理时，我们通过在每个物体的峰值位置索引密集的回归头输出来提取所有属性。速度头与跟踪。为了随时间跟踪物体，我们学习为每个检测到的物体预测一个二维速度估计 
，作为额外的回归输出。速度估计比较特殊，因为它需要两个输入的鸟瞰图：当前时间步和上一时间步。它预测当前帧和过去帧之间物体位置的差异。与其他回归目标一样，速度估计也在当前时间步的真实值物体位置使用L1损失进行监督。在推理时，我们使用这个偏移量以贪婪的方式将当前的检测结果与过去的检测结果关联起来。具体而言，我们通过应用负的速度估计，将当前帧中的物体中心投影回前一帧，然后通过最近距离匹配将它们与已跟踪的物体匹配。遵循SORT的方法，我们将未匹配的轨迹保留最多 T= 3帧，之后将其删除。我们使用其最后已知的速度估计来更新每个未匹配的轨迹。详细的跟踪算法示意图见补充材料。CenterPoint 将所有热图损失和回归损失组合在一个共同的目标函数中，并对它们进行联合优化。它简化并改进了以前基于锚框的3D检测器（见实验部分）。然而，目前物体的所有属性都是从物体的中心特征推断出来的，这可能不包含足够的信息来进行精确的物体定位。例如，在自动驾驶中，传感器通常只能看到物体的侧面，而看不到其中心。接下来，我们通过使用带有轻量级点特征提取器的第二个细化阶段来改进 CenterPoint。
4.1. 两阶段 CenterPoint
bilinear interpolation：双线性插值，在 2D 平面上，用周围4 个相邻点的值，插值算出中间任意坐标的数值；属于插值算法，CV 里最常用。
CV = Computer Vision，计算机视觉
concatenate拼接
proposal候选框
MLP：多层感知机输入层 → 若干隐藏层（每层：线性变换 + 激活函数）→ 输出层 每一层里面，神经元和上一层全部相连（全连接），没有卷积、没有注意力。
IoU：
3D IoU ：直接在三维空间算两个长方体的重叠体积 / 并集体积 ，取值范围：0 ~ 1
- IoU=1：预测框和真值框完全重合
- IoU=0：完全不重叠
损失就是一个 "打分器"，用来衡量网络预测结果和真实答案差得有多远
二元交叉熵BCE，sigmoid 输出，独立二分类，多标签也能用（CenterPoint K 个通道，每一类单独一张热力图，就是 BCE）
L1 Loss，也叫 MAE：Mean Absolute Error 平均绝对误差
RoIAlign感兴趣区域对齐，从特征图里抠出 proposal（候选框）对应的一块区域，输出固定大小的特征图，消除 RoIPool 的取整量化误差 。RolPool拿到一个候选框 proposal（RoI），从特征图上抠出它对应的区域，不管这个框多大，都输出固定尺寸的特征图（比如 7×7），方便后面接 MLP 做分类和框回归。
我们将 CenterPoint 作为第一阶段保持不变。第二阶段从骨干网络的输出中提取额外的点特征。我们从预测边界框每个面的3D中心提取一个点特征。请注意，边界框的中心、顶面和底面中心在鸟瞰图上的投影都位于同一个点。因此，我们只考虑四个朝外的边界框面以及预测的物体中心。对于每个点，我们使用双线性插值从骨干网络鸟瞰图输出M中提取特征。接下来，我们将提取的点特征拼接起来，并将它们传入一个 MLP。第二阶段在一阶段 CenterPoint 的预测结果之上预测一个不区分类别的置信度分数和边界框细化。对于不区分类别的置信度分数预测，我们遵循的方法，并使用一个由边界框与相应真实值边界框的3D IoU引导的分数目标 I：
其中
是第t个候选框与真实值之间的IoU。训练时使用二元交叉熵损失进行监督：
其中
是预测的置信度分数。在推理过程中，我们直接使用一阶段CenterPoint的类别预测，并将最终的置信度分数组合为这两个分数的几何平均值 
其中
是对象t的最终预测置信度，且
，而
分别是对象t的第一阶段和第二阶段置信度。对于边界框回归，模型在第一阶段候选框的基础上预测一个细化量，我们使用L1损失来训练模型。我们的两阶段CenterPoint简化并加速了以前的两阶段3D检测器，这些检测器使用了昂贵的基于PointNet的特征提取器和RoIAlign操作。
4.2. 架构
激活函数：给网络增加非线性能力的函数，套在卷积、Linear（MLP）的输出后面
所有第一阶段的输出共享一个初始的 3 × 3 卷积层、批量归一化（Batch Normalization)和 ReLU 激活函数。然后，每个输出使用各自的分支，该分支由两个 3 × 3 卷积组成，中间由批量归一化和ReLU隔开。我们的第二阶段使用一个共享的两层MLP，包含批量归一化、ReLU和Dropout (丢弃率为0.3），随后是两个分支，每个分支由三个全连接层组成，一个用于置信度分数，另一个用于边界框回归预测。
5. 实验
FPS每秒帧数
metrics评价指标
translation平移
trajectory轨迹
divergence发散；偏离
ground truth真值、真实标注
我们在Waymo开放数据集和nuScenes数据集上评估CenterPoint。我们使用两种3D编码器实现CenterPoint：VoxelNet和PointPillars ,分别称为CenterPoint-Voxel和CenterPoint-Pillar。Waymo开放数据集。Waymo开放数据集包含798个训练序列和202个验证序列，用于车辆和行人检测。点云由64线激光雷达捕获，每0.1秒产生约18万个激光雷达点。官方的3D检测评估指标包括标准的3D边界框平均精度均值（mAP）和由航向准确率加权的mAP（mAPH）。mAP和mAPH是基于车辆0.7和行人0.5的IoU阈值计算的。对于3D跟踪，官方指标是多重目标跟踪准确率（MOTA）和多重目标跟踪精度（MOTP）。官方基准测试评估两个难度级别：LEVEL_1 适用于包含五个以上激光雷达点的边界框，LEVEL_2 适用于包含至少一个激光雷达点的边界框。我们的Waymo模型在 X 轴和 Y 轴上的检测范围为 -75.2m, 75.2m，在 Z 轴上为 -2m, 4m。CenterPoint-Voxel 遵循 PV-RCNN使用 (0.1m, 0.1m, 0.15m) 的体素大小，而 CenterPoint-Pillar 使用 (0.32m, 0.32m) 的网格大小。
nuScenes数据集。nuScenes包含1000个驾驶序列，其中700、150、150个序列分别用于训练、验证和测试。每个序列大约20秒长，激光雷达频率为20FPS。该数据集为每个激光雷达帧提供校准的车辆位姿信息，但仅每十帧（0.5秒）提供边界框标注。nuScenes 使用32线激光雷达，每帧产生约3万个点。总的来说，训练、验证和测试帧分别有 28k、6k、6k 个标注。这些标注包含呈长尾分布的10个类别。官方评估指标是各类别之间的平均值。对于3D检测，主要指标是平均精度均值（mAP)和 nuScenes 检测分数（NDS).mAP使用鸟瞰图中心距离 < 0.5m、1m、2m、4m，而不是标准的边界框重叠度。在我们初次提交之后，nuScenes更新了规划(PKL)的指标。因此，我们对我们测试的所有方法也报告了PKL指标。对于3D跟踪，nuScenes使用AMOTA 53，它惩罚ID切换、假阳性和假阴性，并在各种召回率阈值下取平均值。对于nuScenes上的实验，我们将检测范围设定为 X 轴和 Y 轴的 -51.2m, 51.2m，以及 Z 轴的 -5m, 3m。CenterPoint-Voxel 使用 (0.1m, 0.1m, 0.2m) 的体素大小，CenterPoint-Pillar 使用 (0.2m, 0.2m) 的网格大小。
训练与推理。我们使用与之前工作相同的网络设计和训练计划。详细超参数请见补充材料。在两阶段CenterPoint的训练过程中，我们从第一阶段的预测中随机采样128个边界框，正负样本比例为1:1 。如果一个候选框与真实值标注的重叠度至少为0.55 IoU ，则它被视为正样本。在推理过程中，我们在非极大值抑制（NMS）之后的前500个预测上运行第二阶段。推理时间是在Intel Core i7 CPU和Titan RTX GPU上测量的。
5.1. 主要结果
State-of-the-art（SOTA）当前最优、业界前沿、最好效果的方法
breakdown:分项统计、拆分结果、细分表
traffic cone交通锥、路锥、雪糕筒
3D检测我们首先展示我们在Waymo和nuScenes测试集上的3D检测结果。两项结果均使用单一的CenterPoint-Voxel模型。表1和表2总结了我们的结果。在 Waymo 测试集上，我们的模型车辆检测的 Level 2 mAPH 达到 71.8，行人检测的 Level 2 mAPH 达到 66.4；相比之前的方法，车辆的 mAPH 提升 7.1%，行人的 mAPH 提升 10.6%。在nuScenes上（表2），我们的模型在mAP上超出5.2%，在NDS上超出2.2%，击败了去年使用多尺度输入和多模型集成获得挑战赛冠军的CBGS 。我们的模型也快得多，如后文所示。按类别的细分包含在补充材料中。我们的模型在所有类别上表现出持续的性能提升，并在小类别（交通锥的mAP提高了5.6）和极端长宽比类别（自行车的mAP提高了6.4，工程车的mAP提高了7.0）上显示出更显著的提升。更重要的是，我们的模型在神经规划器指标（PKL）下显著优于所有其他提交，这是在我们提交排行榜后由组织者评估的隐藏指标。这突出了我们框架的泛化能力。
表1：在Waymo测试集上进行3D检测的最新方法对比。我们展示了Level 1和Level 2基准的mAP和mAPH。
表2：在nuScenes测试集上进行3D检测的最新方法对比。我们展示了nuScenes检测分数（NDS）和平均精度均值（mAP）。
表3：在Waymo测试集上进行3D跟踪的最新方法对比。我们展示了MOTA，以及MOTP（↑表示越高越好，↓表示越低越好）。
表4：在nuScenes测试集上进行3D跟踪的最新方法对比。我们展示了AMOTA、假阳性（FP）数量、假阴性（FN）数量、ID切换（IDS）数量以及各类别AMOTA。（↑表示越高越好，↓表示越低越好）。
表5：基于锚框和基于中心的方法在Waymo验证集上进行3D检测的对比。表5：基于锚框和基于中心的方法在Waymo验证集上进行3D检测的对比。
表6：基于锚框和基于中心的方法在nuScenes验证集上进行3D检测的对比。我们展示了平均精度均值（mAP）和nuScenes检测分数（NDS）。
3D 跟踪 表3展示了CenterPoint在Waymo测试集上的跟踪性能。我们在第4节中描述的基于速度的最近距离匹配显著优于Waymo论文中的官方跟踪基线，后者使用的是基于卡尔曼滤波的跟踪器 。我们观察到车辆和行人跟踪的MOTA分别提高了19.4和18.9。在nuScenes上（表4），我们的框架以8.8 AMOTA的优势超过了上一个挑战赛冠军Chiu等人。值得注意的是，我们的跟踪不需要单独的运动模型，并且运行时间可以忽略不计，在检测之上仅需1毫秒。
5.2. 消融研究
基于中心 vs 基于锚框 我们首先将我们基于中心的单阶段检测器与基于锚框的对应方法进行比较。在Waymo上，我们遵循最先进的PV-RCNN来设置锚框超参数：我们在每个位置使用两个锚框，角度分别为0°和90°。正/负样本阈值设定为：车辆0.5/0.4，行人0.5/0.35。我们遵循来自上一届挑战赛冠军 CBGS的锚框分配策略。所有其他参数与我们的CenterPoint模型相同。如表5所示，在Waymo数据集上，仅仅从锚框切换到我们的中心点，VoxelNet和PointPillars编码器分别获得了4.3 mAP和4.5 mAPH的提升。在 nuScenes 数据集上（表 6），在不同骨干网络下，CenterPoint 相比基于锚框的对照方法，mAP 提升 3.8~4.1，NDS 提升 1.1~1.8。为探明性能提升的来源，我们进一步在 Waymo 验证集上，按照目标尺寸、朝向角划分不同子集，给出分项性能结果。我们首先根据航向角将真值实例划分为三组：0°~15°、15°~30° 以及 30°~45°。该划分用于测试检测器对大旋转角度框的检测性能，这对于自动驾驶的安全部署至关重要。我们同时将数据集划分为三个分组：小目标、中等目标、大目标，每个分组包含全部真值框的 1/3。表 7 和表 8 汇总了实验结果。当检测框存在旋转，或是目标尺寸偏离平均尺寸时，我们基于中心点的检测器性能远优于基于锚框的基线模型。这证明该模型在检测目标时具备捕捉旋转不变性与尺寸不变性的能力。这些结果有力说明了采用基于点的方式表征 3D 目标的优势。
表7：基于锚点和基于中心的方法在检测不同航向角物体时的对比。展示了旋转角的范围及其相应的mAP。我们展示了两种方法在Waymo验证集上的LEVEL_2 mAPH。
表 8：目标尺寸对基于锚框方法与基于中心点方法性能的影响。我们展示不同尺寸区间目标在 Level 2 下的逐类别 mAPH：小目标占 33%、中等目标占 33%、大目标占 33%。
表 9：在 Waymo 验证集上，对比 VoxelNet 和 PointPillars 两种编码器，分别在以下几种设置下的 3D LEVEL 2 mAPH 指标：单阶段、带有 3D 中心点特征的两阶段、同时带有 3D 中心点特征与表面中心特征的两阶段。
表 10：两阶段精修模块不同特征组件的消融实验。VSA 即体素集抽象（Voxel Set Abstraction），是 PV-RCNN中采用的特征聚合方式。RBF 使用径向基函数对 3 个最近邻点做插值。我们在 Waymo 验证集上，基于 Level 2 mAPH 指标，对比鸟瞰图特征与 3D 体素特征。
单阶段与两阶段对比：在表 9 中，我们对比了在 Waymo 验证集上，采用二维卷积特征的单阶段 CenterPoint 和两阶段 CenterPoint 模型。基于多中心特征的两阶段精修，能够在额外开销很小（6~7 毫秒）的情况下，大幅提升两种 3D 编码器的精度。我们同时和 RoIAlign 做对比：RoIAlign 会在感兴趣区域内密集采样 6×6 个点；我们这种基于中心点的特征聚合方案取得了相当的性能，同时速度更快、结构更简洁。体素量化限制了采用 PointPillars 作为编码器的两阶段 CenterPoint 在行人检测上的性能提升，原因是行人在模型输入中通常只占据一个像素。
在我们的实验中，两阶段精修并没有在 nuScenes 数据集上相比单阶段 CenterPoint 带来性能提升。我们认为原因在于：nuScenes 数据集采用 32 线激光雷达，每帧大约产生 3 万个激光点云，点数大约只有 Waymo 数据集的 1/6，这限制了两阶段精修能够带来的性能提升空间。在 PointRCNN 、PV-RCNN等先前的两阶段方法中也观察到了类似现象。
不同特征组件的影响
在我们的两阶段 CenterPoint 模型中，我们仅使用二维 CNN 特征图上的特征。但已有前人方法提出，在第二阶段精修过程中同时利用体素特征。在此，我们对比两种体素特征提取基线方案：体素集抽象（Voxel-Set Abstraction）。PV-RCNN提出了 VSA 模块，该模块扩展了 PointNet++的集合抽象层，在固定半径的球形邻域内聚合体素特征。径向基函数（RBF）插值。 PointNet++和 SA-SSD使用径向基函数，从距离最近的三个非空 3D 特征体中聚合网格点特征。对于这两种基线方案，我们采用它们官方的实现方式，将鸟瞰图特征与体素特征融合。表 10 汇总了实验结果。结果表明：仅使用鸟瞰图特征就足以取得不错的效果，并且相比文献中使用的体素特征，效率更高。
为和那些没有在 Waymo 测试集上开展评估的已有工作对比，我们同时在表 11 中给出模型在 Waymo 验证集上的结果。我们的模型大幅优于所有已发表方法，尤其是在难度更高的 Level 2 数据集里的行人类别（mAPH 提升 18.6），这类检测框内甚至仅包含一个激光雷达点。
3D 跟踪任务。表 12 展示了 nuScenes 验证集上 3D 跟踪的消融实验。我们对比去年竞赛冠军 Chiu 等人的方案，该方案采用基于马氏距离的卡尔曼滤波器，对 CBGS的检测结果做数据关联。我们将评估拆分为检测器和跟踪器两部分，保证对比的公平严谨。 在输入相同检测结果的前提下，使用本文提出的、基于速度的最近点距离匹配方案，相比基于卡尔曼滤波的马氏距离匹配方案 ，AMOTA 提升 3.7（第 1 行对比第 3 行、第 2 行对比第 4 行）。性能提升来源于两点：1）我们利用学习得到的目标点速度来建模物体运动，而非使用卡尔曼滤波对 3D 框的运动状态建模；2）我们依据中心点距离做目标匹配，而不是采用框状态的马氏距离或是 3D 框 IoU。更重要的是，我们的跟踪算法是简单的最近邻匹配，不需要任何隐状，这省去了 3D 卡尔曼滤波器带来的计算开销 （耗时 73 毫秒对比 1 毫秒）。
图 3：CenterPoint 在 Waymo 验证集上的定性结果示例。蓝色为原始点云，绿色框是本文方法检测出的目标，检测框内的激光雷达点云标记为红色。建议在屏幕上查看原图效果。
表11：在 Waymo 验证集上的 3D 检测任务，与当前最优方法（SOTA）的对比
表 12：nuScenes 验证集上 3D 跟踪任务的消融实验。 我们展示不同检测器与跟踪器的组合效果。CenterPoint-* 代表本文提出的检测器；Point 是本文提出的跟踪器。M-KF 是基于马氏距离的卡尔曼滤波器（Mahalanobis distance-based Kalman filter）的缩写，该方案曾被上一届竞赛冠军 Chiu 等人 。
代表跟踪耗，
代表检测加跟踪的总耗时。
6结论
我们提出了一种基于中心点的框架，用于激光雷达点云的 3D 目标检测与跟踪一体化任务。本文方法采用标准的 3D 点云编码器，检测头仅由少量卷积层构成，输出 BEV 鸟瞰图热力图以及其他稠密回归结果。检测环节采用简单的局部峰值提取加精修；跟踪环节采用最近距离匹配。CenterPoint 结构简洁、接近实时，并且在 Waymo 和 nuScenes 基准数据集上取得了当前最优性能。