康谋方案 | 高精LiDAR+神经渲染3DGS的完美融合实践

在自动驾驶时代奔涌向前的路上,仿真测试 早已不再是可选项,而是验证智能驾驶系统安全性、鲁棒性和泛化能力的刚需 ,如何提升仿真测试的保真度已成为无法避免的重要话题。

这正是"数字孪生 "出现的时代背景。本文为大家详细介绍如何用传统与前沿结合的数字孪生构建流程 ,再配合3DGS 的神经网络重建技术,为自动驾驶仿真测试注入真正的"现实之眼"。

一、从点云到高精地图的重建

依托独家的aiData工具链aiSim仿真平台 ,本文建立了一套高精度数字孪生地图构建流程,已经广泛应用于布达佩斯 Kolosy广场、ZalaZone测试场等真实道路还原项目。整个流程包括:

(左)带有标注的HD地图、(中)装饰HD地图、(右)aiSim中渲染

1、数据采集

采用搭载激光雷达(LiDAR)、高精度GNSS/INS系统的测绘车(如康谋DATALynx ATX4)执行移动激光扫描(MLS),通过aiData Recorder进行录制,主要路线至少绘制两次,确保厘米级空间精度。

数采车示意图

2、点云聚合

使用aiData Annotator 将多帧点云拼接为统一的全局坐标系,结合反射率、时间戳等多通道信息形成高密度、低误差的空间点集。

**Tips:**详细数据采集精度和点云数据格式可联系康谋技术团队获取,可接受第三方数据,但建议在采集前与我们技术团队沟通优化策略。

3、高精地图建模

基于聚合点云手工标注道路元素:车道线、交通标志、人行道、护栏、红绿灯等。输出为GeoPackage格式的HD Map,用于自动驾驶系统参考。

ZalaZone试验场 LiDAR点云建模

ZalaZone试验场卫星参考图像

4、三维建模与装饰

借助Atlas程序化建模引擎 ,生成道路、地形等基础结构,再通过aiSim Unreal插件手工装饰建筑、植被、街景设施,最大程度复现现实细节。为了获取最大精度,康谋将会采用DCC工具,例如Maya、Blender、Substance等工具利用可用数据构建新模型;

二、颠覆性革新:NeRF 与 3DGS 重建

传统方式 固然精准,但高成本、高周期、强人工依赖,难以支撑大规模、快速迭代的测试需求。

本文分享的神经网络重建方案 ,则以NeRF+ 3DGS为核心技术,实现了从真实环境到仿真世界的跃迁:

1、仅需数日,完成街景重建

相比传统数月的手动建模,神经网络重建只需几天时间,就能将采集到的图像和点云数据自动生成高保真的三维静态场景。

在aiSim中重建Waymo场景

2、进一步消除 Domain gap,场景逼真如实地拍摄

通过DEVIANT算法 验证3D目标检测精度、Mask2Former测量像素一致性等方式,验证了神经重建场景在多摄像头视角下的高可用性仿真一致性

请查看最新发表的论文"Hybrid Rendering for Multimodal Autonomous Driving: Merging Neural and Physics-Based Simulation"

3、降本增效,拒绝重复建模

方案致力于告别繁复的建模软件与人工建模流程,实现端到端自动化构建,大幅降低人力与制作成本。

4、场景增强与标准兼容

在生成的三维场景中,可灵活添加动态对象 (车辆、行人、信号灯等),并全面兼容OpenSCENARIO标准,适配多种自动驾驶测试平台。

三、重建工作流:从采集到仿真部署

神经网络重建方案遵循高度自动化流程:

流程图

**(1)数据采集:**使用DATALynx ATX4记录图像、LiDAR点云和自车位姿;推荐配置包括Hesai Pandar64、环视非鱼眼摄像头和NovAtel高精度组合导航系统。

**(2)数据转换:**将原始数据转化为康谋格式,统一处理点云、图像和标定信息。

(3)自动标注: 利用aiData工具链去除动态目标、生成GT数据,实现非因果式追踪。

环视系统自动标注

(4)神经网络训练: 使用NeRF/3DGS算法生成高精度三维场景。

(5)仿真部署与增强: 在aiSim仿真平台中集成重建场景,配置不同环境(暴雨、夜晚、雪天)、多模态传感器(摄像头、LiDAR、毫米波雷达等)与虚拟交通流。

雨天场景

四、仿真世界,无需困于"假"

在自动驾驶技术快速发展的今天,数字孪生已从简单的场景复制 ,进化为具备真实物理特性的虚拟世界。我们和众多同行们正在见证一场仿真技术的革命:

(1)通过激光雷达的精准测绘确保厘米级精度

(2)借助3DGS/NeRF实现场景的智能重建

(3)融合传统与创新的技术优势

如何致力于将传统构建流程前沿神经网络重建技术相融合,用速度、真实与自动化重塑自动驾驶仿真测试的范式,是业内面临的共同难题。

相关推荐
远创智控研发五部12 小时前
C200H以太网通道服务监控、人机交互与驱动
物联网·数据采集·以太网模块·工业自动化·欧姆龙plc
Freshman小白12 小时前
Fluent自动化仿真(TUI命令脚本教程)
自动化·脚本·仿真
想要成为计算机高手2 天前
10. isaacsim4.2教程-RTX Lidar 传感器
数码相机·机器人·ros·仿真·具身智能·vla·isaacsim
CrissChan2 天前
AI赋能软件工程让测试左移更加可实施
人工智能·python·llm·软件工程·测试
努力奋斗的Tom3 天前
Air test框架与appium的优势
测试
瑞士龙珠4 天前
JMeter 多台压力机分布式测试(Windows)
测试
Apifox4 天前
如何在 Apifox 中正确使用前置 URL?
前端·后端·测试
陈哥聊测试5 天前
软件工程3.0时代,为什么人工测试仍必不可少?
人工智能·测试
檀檀19936 天前
测试抓包工具2-whistle抓包
测试
用户3521802454757 天前
靶场:Breach3.0攻略
安全·测试