传统图形学仿真渲染画面偏理想化,缺少真实光照畸变、运动模糊、传感器噪声,感知算法在仿真上效果达标,上车后频繁出现漏检、误触发,虚实域差异长期制约仿真验证价值。3D 高斯泼溅(3DGS)作为神经渲染路线,依托显式三维表征、实时高保真渲染能力,可基于实车采集数据重建数字孪生场景,成为高阶 ADAS 感知仿真的重要方向。 但从实验室走向量产,3DGS 还存在多模态传感器物理建模缺失、路网语义不完整、动态编辑受限、硬实时延迟等一系列工程障碍。本文梳理六大落地瓶颈,并介绍面向量产的 "HiL 确定性物理注入 + 云端 SiL 可泛化高并发生成" 双轨策略,同时介绍康谋在 3DGS-HiL 闭环仿真上对应的工程方案思路。
一、为什么 3DGS 被行业关注:解决传统仿真的虚实鸿沟
传统仿真器以人工几何网格 + 光线追踪为主,场景可控,但成像特征和真实车载传感器存在明显偏差。 3D 高斯泼溅的优势在于:基于实采数据重建场景,还原真实成像效果,在相机感知仿真上保真度优于 NeRF 等早期神经渲染方案,适合用来做感知模型的测试、边界样本挖掘。 但它不是开箱即用的量产仿真方案,相机、激光雷达、毫米波雷达、地图语义、动态交互、实时算力,每一环都存在待解决的工程问题。
二、3DGS 用于 ADAS 仿真的六大核心工程瓶颈
1.相机仿真:环视鱼眼镜头伪影、曝光不一致调优成本高
相机方向是 3DGS 进展最快的方向,SplatAD、AutoSplat 等方案可做到实时渲染,信噪比相比 NeRF 有提升。但量产车常用大畸变鱼眼环视相机、多相机接缝区域极易出现拉伸、伪影;环视多视角曝光差异、动态鬼影问题,现有适配方案(如 3DGUT)需要大量工程调参,落地成本高。
2.激光雷达仿真:远距离精度衰减,缺少天气物理模型
LiDAR-GS 类方案可以模拟反射强度、回波、漏检现象。但远距离目标(50m 以外)点云稀疏,高斯基元拟合精度快速下滑;雨雪雾等恶劣工况下光束散射、衰减缺少严谨物理模型支撑,生成点云难以直接用于极端天气感知验证。
3.毫米波雷达仿真:多径、多普勒效应难以表征,成熟度最低
RadarSplat、NeuRadar 属于前沿探索阶段。毫米波雷达依赖电磁散射、多径反射、多普勒速度效应,而 3DGS 的高斯点表征很难复现这类物理特性,距离量产感知评测的精度要求差距较大。
4.路网与高精语义断层:好看,但跑不了规控闭环
3DGS 重建城市场景容易出现路面起伏、塌陷等几何问题;并且原生不输出 OpenDrive 规范的车道拓扑、高精地图语义。只有视觉效果,缺少车道、路口、交通规则拓扑,只能做感知评估,无法支撑规划控制全闭环测试。
5.动态编辑能力不足,长尾场景生成困难
StreetGaussians 等方案可以解耦静态背景和动态车辆,支持简单编辑。但车辆大角度转向、急加速时高斯点容易撕裂、漂移;模型泛化能力弱,很难自主生成从未采集过、符合物理规则的长尾危险场景,比如突发 cut-in。
6.训练与实时加载延迟,难以适配 HiL 硬实时
经典 3DGS 是逐场景优化,一段短片段重建耗时很久。HiL 硬件在环测试对确定性、低延迟要求严苛,切换场景时高斯资产文件体积大,PCIe 拷贝延迟会破坏硬实时时序约束,无法直接接入传统 HiL 链路。
三、量产落地双轨策略:HiL 确定性注入 + 云端 SiL 高并发生成
针对 HiL 和 SiL 两类完全不同的测试诉求,行业逐步形成两条互补路线,不强行用一套 3DGS 方案覆盖所有场景。
左轨:功能级 HiL,确定性物理注入
HiL 追求时序确定、闭环稳定,不适合大范围无边界场景重建。更合理的做法是针对固定封闭场地、标定路线、危险弯道做局部高精度 3DGS 重建,固化高斯基元。 渲染服务器输出高保真相机画面,通过视频注入链路送入域控;激光雷达近场感知由 3DGS 负责,远距离雷达信号、高精地图拓扑由数据驱动雷达模型与标准高精地图补齐,组合形成多源融合闭环。 康谋提出基于 DMA 的 3DGS-HiL 物理注入闭环仿真方案,以此路径解决感知硬件在环的高保真画面注入痛点,在保留 3DGS 成像真实度的同时,满足 HiL 对时序确定性的硬性约束。
右轨:云端 SiL,前馈可泛化高斯 + 世界模型,支撑海量场景回归
云端 SiL 的核心诉求是高并发、大规模批量测试,逐场景重新训练 3DGS 完全不可行,因此转向前馈式可泛化高斯技术: DGGT 等框架支持免外参、一次前馈推理输出带动态信息的 4D 高斯场景;ADGaussian 等方案融合稀疏激光深度与图像做多模态学习,提升未知场景几何泛化、视角切换稳定性。 再和动作条件化世界模型结合:世界模型负责生成车辆交互轨迹(前车爆胎、紧急切入等长尾事件),可泛化高斯负责渲染,兼顾场景交互自由度和成像真实感,适合百万级场景回归、感知模型迭代。
四、客户高频 FAQ
Q:3DGS 仿真可以直接替代传统基于图形学的仿真器吗?
A:目前还不能。3DGS 的核心优势是视觉成像保真,缩小虚实域差异,但毫米波雷达物理仿真、OpenDrive 路网语义、稳定的动态交互能力还有明显短板。更合理的方式是和传统图形学仿真互补,而不是直接替换,比如用于感知专项测试,规控闭环依然需要标准地图与动力学框架支撑。
Q:3DGS 做 HiL 最大的卡点是不是渲染画质?
A:画质不是最大卡点,确定性与加载延迟才是。HiL 对时序抖动、数据传输延迟有硬实时要求,传统逐场景优化的 3DGS 资产切换时,大体积高斯文件的拷贝加载容易打破时序。康谋 DMA 式 3DGS-HiL 方案的设计思路,就是在保留高保真渲染的同时保障链路时序可控。
Q:3DGS 能不能生成雨雪雾这类极端天气的传感器数据?
A:相机层面可以通过后处理近似模拟视觉效果,但激光雷达、毫米波雷达缺少成熟、可量化的物理散射衰减模型,当前输出的数据很难直接用来做极端工况的法规验证,一般只适合定性参考。
Q:前馈式可泛化 3DGS 和传统 3DGS 区别在哪?
A:传统 3DGS 是单场景离线优化,一个场景一套高斯点,新增场景就要重新训练;前馈式 4D 高斯(如 DGGT、ADGaussian)属于推理式方案,不需要逐场景优化,输入观测信息就能直接输出场景,更适配云端 SiL 高并发批量测试。
Q:3DGS 重建出来的场景可以导出高精地图、车道拓扑用于规控测试吗?
A:原生 3DGS 重建结果不带标准化 OpenDrive 语义、车道连接关系。它只记录几何与外观信息,如果要做 LKA、自动泊车这类规控闭环测试,需要额外叠加高精地图与路网语义。
Q:3DGS 适合用来做 TSC、拖车这类车辆动力学仿真吗?
A:不适合。3DGS 强项是感知端传感器成像仿真;动力学、铰接运动、车辆稳定性仿真,依然需要成熟的车辆动力学引擎,两者可以组合使用,但不能依靠高斯泼溅本身完成动力学求解。
五、总结
3D 高斯泼溅在视觉保真上的优势,精准击中了传统智驾仿真 "仿真好看、上车翻车" 的痛点,是感知仿真非常有潜力的技术方向。 但它的短板同样清晰:多传感器物理仿真成熟度不均衡、缺少原生高精语义、动态编辑受限、实时加载延迟高,不能直接替代现有图形学仿真体系。 行业落地思路正在从 "用 3DGS 做万能仿真",转向分工使用:HiL 场景局部重建 + 物理视频注入,解决硬件在环感知闭环验证;云端 SiL 依靠前馈高斯与世界模型,解决大规模长尾场景生成。