康谋方案 | 高精LiDAR+神经渲染3DGS的完美融合实践

在自动驾驶时代奔涌向前的路上,仿真测试 早已不再是可选项,而是验证智能驾驶系统安全性、鲁棒性和泛化能力的刚需 ,如何提升仿真测试的保真度已成为无法避免的重要话题。

这正是"数字孪生 "出现的时代背景。本文为大家详细介绍如何用传统与前沿结合的数字孪生构建流程 ,再配合3DGS 的神经网络重建技术,为自动驾驶仿真测试注入真正的"现实之眼"。

一、从点云到高精地图的重建

依托独家的aiData工具链aiSim仿真平台 ,本文建立了一套高精度数字孪生地图构建流程,已经广泛应用于布达佩斯 Kolosy广场、ZalaZone测试场等真实道路还原项目。整个流程包括:

(左)带有标注的HD地图、(中)装饰HD地图、(右)aiSim中渲染

1、数据采集

采用搭载激光雷达(LiDAR)、高精度GNSS/INS系统的测绘车(如康谋DATALynx ATX4)执行移动激光扫描(MLS),通过aiData Recorder进行录制,主要路线至少绘制两次,确保厘米级空间精度。

数采车示意图

2、点云聚合

使用aiData Annotator 将多帧点云拼接为统一的全局坐标系,结合反射率、时间戳等多通道信息形成高密度、低误差的空间点集。

**Tips:**详细数据采集精度和点云数据格式可联系康谋技术团队获取,可接受第三方数据,但建议在采集前与我们技术团队沟通优化策略。

3、高精地图建模

基于聚合点云手工标注道路元素:车道线、交通标志、人行道、护栏、红绿灯等。输出为GeoPackage格式的HD Map,用于自动驾驶系统参考。

ZalaZone试验场 LiDAR点云建模

ZalaZone试验场卫星参考图像

4、三维建模与装饰

借助Atlas程序化建模引擎 ,生成道路、地形等基础结构,再通过aiSim Unreal插件手工装饰建筑、植被、街景设施,最大程度复现现实细节。为了获取最大精度,康谋将会采用DCC工具,例如Maya、Blender、Substance等工具利用可用数据构建新模型;

二、颠覆性革新:NeRF 与 3DGS 重建

传统方式 固然精准,但高成本、高周期、强人工依赖,难以支撑大规模、快速迭代的测试需求。

本文分享的神经网络重建方案 ,则以NeRF+ 3DGS为核心技术,实现了从真实环境到仿真世界的跃迁:

1、仅需数日,完成街景重建

相比传统数月的手动建模,神经网络重建只需几天时间,就能将采集到的图像和点云数据自动生成高保真的三维静态场景。

在aiSim中重建Waymo场景

2、进一步消除 Domain gap,场景逼真如实地拍摄

通过DEVIANT算法 验证3D目标检测精度、Mask2Former测量像素一致性等方式,验证了神经重建场景在多摄像头视角下的高可用性仿真一致性

请查看最新发表的论文"Hybrid Rendering for Multimodal Autonomous Driving: Merging Neural and Physics-Based Simulation"

3、降本增效,拒绝重复建模

方案致力于告别繁复的建模软件与人工建模流程,实现端到端自动化构建,大幅降低人力与制作成本。

4、场景增强与标准兼容

在生成的三维场景中,可灵活添加动态对象 (车辆、行人、信号灯等),并全面兼容OpenSCENARIO标准,适配多种自动驾驶测试平台。

三、重建工作流:从采集到仿真部署

神经网络重建方案遵循高度自动化流程:

流程图

**(1)数据采集:**使用DATALynx ATX4记录图像、LiDAR点云和自车位姿;推荐配置包括Hesai Pandar64、环视非鱼眼摄像头和NovAtel高精度组合导航系统。

**(2)数据转换:**将原始数据转化为康谋格式,统一处理点云、图像和标定信息。

(3)自动标注: 利用aiData工具链去除动态目标、生成GT数据,实现非因果式追踪。

环视系统自动标注

(4)神经网络训练: 使用NeRF/3DGS算法生成高精度三维场景。

(5)仿真部署与增强: 在aiSim仿真平台中集成重建场景,配置不同环境(暴雨、夜晚、雪天)、多模态传感器(摄像头、LiDAR、毫米波雷达等)与虚拟交通流。

雨天场景

四、仿真世界,无需困于"假"

在自动驾驶技术快速发展的今天,数字孪生已从简单的场景复制 ,进化为具备真实物理特性的虚拟世界。我们和众多同行们正在见证一场仿真技术的革命:

(1)通过激光雷达的精准测绘确保厘米级精度

(2)借助3DGS/NeRF实现场景的智能重建

(3)融合传统与创新的技术优势

如何致力于将传统构建流程前沿神经网络重建技术相融合,用速度、真实与自动化重塑自动驾驶仿真测试的范式,是业内面临的共同难题。

相关推荐
阁老13 小时前
pytest测试框架:如何确保登录模块先执行并共享登录状态
测试
_志哥_1 天前
Superpowers 技术指南:让 AI 编程助手拥有超能力
人工智能·ai编程·测试
FliPPeDround4 天前
浏览器扩展 E2E 测试的救星:vitest-environment-web-ext 让你告别繁琐配置
e2e·浏览器·测试
Apifox4 天前
Apifox 2 月更新|MCP Client 调试体验优化、测试套件持续升级、支持公用测试数据、测试报告优化
前端·后端·测试
infiniteWei4 天前
Skills、MCP、Agent 的边界与商业化定位(附项目筛选表)
人工智能·aigc·测试
鲁邦通物联网5 天前
Python实现蜂窝链路监控:基于全认证边缘计算网关的开发实战
边缘计算·数据采集·工业数据采集·边缘网关·边缘计算网关·5g数采
袁袁袁袁满5 天前
Haystack与亮数据MCP工具结合实现自动化爬虫
爬虫·python·网络爬虫·数据采集·爬虫实战·视频爬虫·特推爬虫
亿牛云爬虫专家5 天前
商业实战复盘:并发不是越多越快
数据采集·爬虫代理·跨境电商·电商数据·商业数据·全量抓取·16yun代理
洞窝技术7 天前
让AI帮我做测试用例,我来喝咖啡
ai编程·测试
不吃橘子的橘猫9 天前
《集成电路设计》复习资料2(设计基础与方法)
学习·算法·fpga开发·集成电路·仿真·半导体