CARLA: 如何在 CARLA 中回放自动驾驶场景

对于自动驾驶（AV）开发，集成到开源 CARLA 自动驾驶模拟器中的 Omniverse NuRec 库提供了强大能力。这是一项实验性新功能，适用于 NVIDIA Physical AI Dataset 中已完成重建的示例场景。

前向车载摄像头视角下，真实世界繁忙街道在仿真中的重建效果。

图 1：用于 CARLA 中 Omniverse NuRec 渲染流程的示例场景

步骤 1：运行 CARLA 并配置脚本

从 Physical AI Dataset 选择一个场景，然后进入 CARLA 目录并运行：

bash 复制代码

./PythonAPI/examples/nvidia/install_nurec.sh

步骤 2：回放场景

然后使用以下命令回放 Omniverse NuRec 场景：

bash 复制代码

source carla/bin/activate
cd PythonAPI/examples/nvidia/
python example_replay_recording.py --usdz-filename /path/to/scenario.usdz

步骤 3：采集数据

你还可以在仿真中采集数据用于进一步测试。以下是用于生成数据集的图像采集示例：

bash 复制代码

source carla/bin/activate
cd PythonAPI/examples/nvidia/
python example_save_images.py --usdz-filename /path/to/scenario.usdz --output-dir ./captured_images

该集成方案使你可以在可控仿真环境中回放真实世界驾驶过程，并保留原始场景中的参与体与动态行为。

如何进一步增强重建场景

想让重建场景更进一步？NVIDIA Cosmos Transfer（一个多 ControlNet 世界基础模型）可通过可控视频生成能力，显著增强机器人与自动驾驶仿真。你可以使用 Cosmos Transfer 合成多样化环境、光照条件和天气场景；也可借助分割、深度图、HD 地图等多模态控制方式动态添加与编辑对象。

一张 GIF 展示从语义视图切换到秋日晴天驾驶场景。
图2：Cosmos Transfer 通过新增天气、光照和地形条件提升场景多样性

这一方法可简化高场景覆盖的数据集构建流程，降低人工成本，并实现严格、逼真的验证。随着 Cosmos Transfer-1 蒸馏后将扩散步数从 70 步降低，你可以在 30 秒内生成可控的高真实感视频。基于此类性能提升，Cosmos Transfer-2 即将发布，将进一步加速自动驾驶开发中的合成数据生成（SDG）。

为什么基于高斯的渲染能加速仿真工作流

3D 高斯表示在真实世界重建与仿真方式上带来了变革性提升。通过打通从数据采集到高真实感交互环境的链路，Omniverse NuRec 库利用基于高斯的渲染，大幅加速仿真工作流，实现可扩展且稳健的测试。

COLMAP 成熟的 SfM 流水线与 3DGUT 高级渲染能力相结合，形成了可应对复杂真实场景的稳健基础------从困难光照到复杂相机畸变，这些问题往往会让传统重建方法失效。

开始在交互式仿真中渲染真实世界场景

无论你是希望突破 sim-to-real 边界的研究者，还是追求高效高保真场景生成的工程师，这些进展都能帮助你快速迭代，并更有信心地部署基于真实复杂性的解决方案。

准备好开始了吗？

下载 NVIDIA Physical AI Dataset 中的示例重建数据
访问 nv-tlabs/3dgrut GitHub 仓库获取 3DGUT 实现
在 NVIDIA Isaac Sim 5.0 中进行基于物理的虚拟环境机器人仿真
了解如何将 CARLA Simulator 与 NVIDIA Omniverse NuRec 集成