这篇文章最初发表在 NVIDIA 技术博客上。
自动驾驶汽车（ AV ）的开发需要大量的传感器数据来进行感知开发。
开发人员通常从两个来源获得这些数据------真实世界驱动器的回放流或模拟。然而，真实世界的数据集提供的灵活性有限，因为数据仅固定于物理传感器捕获的对象、事件和视角。也很难大规模模拟真实世界条件的细节和缺陷，例如传感器噪声或遮挡。
近年来，神经领域获得了巨大的吸引力。这些人工智能工具捕捉真实世界的内容，并从新颖的视角以高逼真度对其进行模拟，实现了 AV 模拟所需的保真度和多样性。
在 NVIDIA GTC 2022 上，我们展示了如何利用神经重建技术，使用模拟中记录的相机传感器数据构建 3D 场景，并从新的视角进行渲染。我们在即将于 2023 年 10 月 2 日至 6 日举行的 ICCV 会议上发表的论文中，详细介绍了在合成激光雷达数据时，如何应用类似的方法来应对这些挑战。
图 1 。一个由神经激光雷达场绘制的新视点示例
这种被称为神经激光雷达场的方法优化了神经辐射场 (NeRF)，这是一种类似于激光雷达测量的表示，能够从全新的视角合成逼真的激光雷达扫描。它将神经渲染与基于物理的激光雷达模型相结合，以准确再现传感器行为，如光束发散、二次返回和光线下降。
利用神经激光雷达领域，我们可以提高新视图的真实性，缩小与真实激光雷达数据记录的领域差距。通过这样做，我们可以提高激光雷达传感器模拟的可扩展性，并加速 AV 的发展。
通过在 NVIDIA Omniverse 中应用神经渲染技术（如神经激光雷达场）， AV 开发人员可以绕过手动重建真实世界场景的时间和成本密集型过程。它们可以将物理传感器带入可扩展和可重复的模拟中。
新颖的视图合成
虽然回放记录的数据是测试和验证的关键组成部分，但模拟 AV 系统体验的新场景也是至关重要的。
这些场景可以测试车辆偏离原始轨迹的情况。它将以新颖的观点看待世界。这一好处还扩展到在不同车型上测试传感器套件，在这种情况下，钻机的位置可能不同（例如，从轿车切换到 SUV ）。
由于能够修改传感器特性，如光束发散和光线模式，我们还可以在模拟中使用与最初记录数据的传感器不同的激光雷达类型。
然而，以前模拟新颖视图的显式方法已被证明是繁琐的，而且往往是不准确的。首先，必须从扫描的激光雷达点云中提取表面表示，如曲面或三角形网格。然后，通过投射光线并将其与表面模型相交，从一个新的角度模拟激光雷达测量。
这些方法被称为显式重建，在渲染中引入了明显的误差，并假设了一个没有光束发散的完美激光雷达模型。
神经激光雷达场方法
神经激光雷达场方法采用了 NeRF 风格的方法，而不是依赖于容易出错的重建管道。它基于神经场景表示和传感器建模，直接优化以渲染传感器测量结果。这将产生更真实的输出。
具体来说，我们使用了一种改进的激光雷达特定体积渲染程序，该程序可以从 3D 场景中创建范围和强度测量。然后，我们添加了光束发散以提高真实感。我们考虑到激光雷达是一种主动传感器，而不是像相机那样的被动传感器。这一点，加上光束发散等特性，使我们能够再现传感器特性，包括落射线和多次返回。
为了测试神经激光雷达场的准确性，我们在激光雷达模拟器中运行场景，将结果与在距离原始扫描不同距离处拍摄的各种视点进行比较。
然后，我们将这些扫描结果与Waymo Open 数据集进行比较，使用真实世界的强度、光线衰减和二次反射等指标来评估其保真度。我们还使用真实数据来验证神经激光雷达场在具有挑战性的场景中视图合成的准确性。
图 2 :神经激光雷达场对波形进行建模
在图 2 中，神经激光雷达场准确地再现了波形特性。最上面一行显示第一个表面完全散射激光雷达能量。其他行显示，神经激光雷达场通过对计算的权重进行峰值检测，然后进行基于体绘制的距离细化来估计距离。
后果
使用这些评估方法，我们将神经激光雷达场合成的激光雷达视图与传统的重建过程进行了比较。
通过考虑真实世界的激光雷达特性，与显式重建相比，神经激光雷达场视图减少了距离误差，提高了性能。我们还发现隐式方法可以高精度地合成具有挑战性的场景。
在我们确定性能后，我们使用两个低级感知任务验证了神经激光雷达场生成的扫描：点云配准和语义分割。
我们将相同的模型应用于真实世界的激光雷达扫描和各种合成扫描，以评估扫描保持准确性的程度。我们发现，在具有复杂几何形状和高噪声水平的数据集上，神经激光雷达场的性能优于基线方法。
图 3 。 Waymo 数据集上激光雷达新视图合成的定性可视化。
对于语义分割，我们将相同的预训练模型应用于真实和合成激光雷达扫描。神经激光雷达领域实现了最高的车辆召回率，由于传感器噪声（如双回波和射线下降），这些车辆尤其难以渲染。
虽然神经激光雷达领域仍然是一种活跃的研究方法，但它是可扩展 AV 模拟的关键工具。接下来，我们计划将重点放在跨场景概括网络和处理动态环境上。最终， Omniverse 和 NVIDIA DRIVE Sim AV 模拟器的开发人员将能够利用这些人工智能驱动的方法进行加速和基于物理的模拟。
想要了解更多关于神经激光雷达领域以及我们的开发和评估方法的信息，请参阅Neural LiDAR Fields for Novel View Synthesis论文。
鸣谢
我们要感谢我们在苏黎世联邦理工学院的合作者，黄胜宇和 Konrad Schindler ，以及来自 NVIDIA 研究团队的 Zan Gojcic 、 Zian Wang 、 Francis Williams 、 Yoni Kasten 、 Sanja Fidler 和 Or Litany 。