基于AI的3D场景重建技术新突破!破局自动驾驶端到端仿真

场景的保真度 ,对于自动驾驶仿真和合成数据生成至关重要,场景重建保真度不足,将极大地制约高阶自动驾驶系统的训练效果 。同时,在用于训练大模型和具身智能的合成数据领域,同样对低成本的高保真场景有巨大的需求。

在此背景下,凭借多年的技术积累,51WORLD旗下AI合成数据及仿真平台公司51Sim基于AI算法,将3D Gaussian Splatting与传统图形渲染技术创新融合,不仅 攻克了3DGS技术泛化能力不足等"卡脖子"难题,实现了在拟真度方面的突破性进展,还显著提高了自动驾驶系统的训练质量及仿真的置信度

"端到端"自动驾驶对高保真场景需求迫切

目前已量产的智能驾驶,大多数采用的都是模块化架构:将智能驾驶拆分成感知、预测、规划等典型任务,并交给专门的AI模型或模块来处理。由于系统中包含多个模型,因而需要对每个模型都进行专门的训练、优化和迭代。而端到端架构 ,则是通过一个模型来实现,因此能够更加高效和低成本地聚焦核心功能,这也让端到端解决方案正逐渐成为主流

端到端方案对于高保真场景的需求更加迫切,由于端到端系统需要能够在各种复杂场景中自如应对,需要将大量标注有自动驾驶行为的视频投入自动驾驶训练。然而传统的3D场景仿真技术因为场景的真实感不足、多样性欠缺和成本高等问题,已无法完整满足端到端落地的需求。

针对这一现状,51Sim创新性地将3D Gaussian Splatting 通过AI算法 融合到传统图形渲染引擎 中,在拟真度方面取得了突破性进展。这项技术重新定义了高保真3D场景的重建标准,通过提升仿真的真实感、弥补了单一技术的不足并大幅降低了场景重建的成本。

3D Gaussian Splatting 技术

3D高斯泼溅(3D Gaussian Splatting, 简称3DGS)是用于实时辐射场渲染的3D 高斯分布描述的一种渲染技术,通过将多视角图像表示的三维场景转化为各向异性3D高斯点云表示的场景,并能通过参数优化和密度控制来提高重建质量。

3DGS在渲染速度、图像质量、定位精度 等方面呈现出了非常优异的表现,全面补足了NeRF的短板。同时,基于3DGS的重建场景能够1:1复刻在真实智驾上发现的边缘场景(Corner Case),通过动态场景泛化,提升端到端智驾系统应对Corner Case的能力。

3DGS重建场景

尽管3DGS在创建高质量渲染方面表现出色,但在动态场景交互和细节保留方面存在一些局限性。例如,3DGS在处理大规模场景和动态物体时,可能会出现细节缺失、伪影和泛化能力不足的问题。

因此,目前3DGS还难以在复杂的自动驾驶场景中实现高效的落地应用

51Sim融合方案突破3DGS技术局限

针对3DGS在实际应用上的短板,51Sim凭借多年在仿真领域的技术积累 ,将3DGS通过AI算法驱动与传统图形渲染技术融合,突破了单一技术的局限。

在通过3DGS点云建模的基础上,通过优化的AI融合算法,将静态3DGS场景与51Sim此前积累的静态场景库、动态的交通场景库和各类传感器仿真进行了自然融合,确保了 体场景的连贯性和视觉真实感 ,并实现了场景丰富度指数级增加 。同时,利用先进的全局渲染技术,生成高质量视图,确保多相机视角的一致性和高保真度,实现了逼真的渲染效果

3DGS融合动态、静态交通要素

融合光照天气

应用场景覆盖各类具身/非具身智能领域

51Sim融合方案具有高质量和实时渲染的能力,高保真的模拟场景不仅提高了自动驾驶系统的训练质量,还显著提升了仿真的真实性,使其几乎可以达到肉眼难辨的程度,大幅提升了仿真的置信度 ,并弥补了3DGS在细节和泛化能力的不足,这也是目前行业内首例真正可用于自动驾驶仿真的3DGS解决方案。

BEV多摄像头视频生成

除自动驾驶领域的应用之外,该方案还能生成高质量 合成数据用于视频大模型训练,助力AI大模型公司以提升文生视频的训练效果。

Future

高保真场景重建,将仿真置信度提升到了新的高度,对于端到端自动驾驶的进化与落地具有关键意义。未来,51Sim 将持续迭代3DGS融合技术,为AI训练提供充足的数据燃料,赋能更广泛的行业应用。

相关推荐
AI视觉网奇16 小时前
虚拟机安装 网络问题
人工智能·虚拟机
云澈ovo16 小时前
FP16混合精度训练:Stable Diffusion生成速度提升300%的硬件配置方案
人工智能·机器学习·stable diffusion
zzywxc78716 小时前
AI行业应用:金融、医疗、教育、制造业的落地实践与技术创新
人工智能·机器学习·金融·自动化·prompt·ai编程·xcode
简简单单做算法16 小时前
基于遗传优化的LSTM-Attention一维时间序列预测算法matlab仿真
人工智能·lstm·时间序列预测·lstm-attention·遗传优化
C++chaofan16 小时前
项目中为AI添加对话记忆
java·数据结构·人工智能·redis·缓存·个人开发·caffeine
Elastic 中国社区官方博客16 小时前
CI/CD 流水线与 agentic AI:如何创建自我纠正的 monorepos
大数据·运维·数据库·人工智能·搜索引擎·ci/cd·全文检索
列兵阿甘16 小时前
知微传感Dkam系列3D相机SDK例程篇:CSharp点云滤波
数码相机·3d
I'm a winner17 小时前
护理+人工智能研究热点数据分析项目实战(五)
人工智能·数据挖掘·数据分析
蒋星熠17 小时前
TensorFlow与PyTorch深度对比分析:从基础原理到实战选择的完整指南
人工智能·pytorch·python·深度学习·ai·tensorflow·neo4j
qq_3404740217 小时前
0.1 tensorflow例1-梯度下降法
人工智能·python·tensorflow