从小鹏看自动驾驶发展趋势

 小鹏:端到端大模型量产落地,体验升级成下阶段主线

算法端,小鹏已量产国内首个端到端大模型,其模型采用分段式结构,分为神经网络 XNet、规控大模型 XPlanner 以及大语言模型 XBrain 三部分。数据闭环方面,小鹏的全栈数据闭环能够实现对数据的清晰处理以及高效的挖掘和解读,测试阶段实车测试与仿真测试并重,加快迭代节奏。云端算力方面,小鹏云端算力储备已达到 2.51EFlops。投入端,小鹏每年将投入 35 亿元用于智驾,其中 7 亿元用于算力训练。端到端架构下,小鹏 2024 年 7 月实现无限 XNGP 的全量推送,同时实现第一阶段的"全国都好用",在 2024Q4 计划实现能够"门到门"的第二阶段"全国都好用",最终在 2025 年实现用户"爱用"的升级。小鹏较早实现由提升覆盖度到优化体验的转变,XNGP 功能赢得用户的认可,面向用户体验的XNGP 有望渗透率进一步提高,或将加速销量拐点到来。

1、 小鹏:端到端大模型量产落地,体验升级成下阶段主线

1.1、 智驾技术加速演进,XNGP 即将实现"门到门"体验

小鹏无限 XNGP 实现全国都能开,即将步入"门到门"时代。小鹏高速 NGP 功能在 2021 年 1 月开始推送。2022 年 9 月 17 日,小鹏基于自研的智能辅助驾驶系统XPILOT,在广州试点推送城区 NGP,是国内最早推送城区 NGP 功能的整车厂。2023年 3 月,小鹏智能辅助驾驶系统迭代为 XNGP,先后在有高精地图覆盖的深圳与上海开放城市领航辅助功能,彼时 XNGP 功能的实现仍是基于高精地图,虽然基于此模式开发自动驾驶较为简单,但道路覆盖有限,用户体验不够完整。2024 年 2 月,小鹏使用无图智驾的无限 XNGP 向部分拥有智驾经验的用户推送,此后在 2024 年 7月,无图 XNGP 全量推送,实现全国都能开,并计划在 2024Q4 实现完全"门到门"的体验。短短三年半的时间,小鹏的自动驾驶持续突破,端到端大模型技术大大加速小鹏自动驾驶进程。

小鹏 2024Q4 实现真正的"门到门"体验

1.2、 端到端大模型拓展能力边界,智驾领军车企坚定布局

1.2.1、 分段式端到端大模型量产上车,XNGP 能力加强

国内首个端到端大模型量产上车,神经网络 XNet+规控大模型 XPlanner+大语言模型 XBrain 形成合力。在小鹏上一代的自动驾驶系统中,只有感知一个模块用到 AI模型,其余的模块基本都是人工定义的规则,这需要大量的人工定义的规则,在人力、时间、维护成本上均具有劣势。较为稳定的传统量产智驾系统,大约有 10 万条左右各类人工定义的规则,而一个无限接近人类司机的自动驾驶系统,大概等效于10 亿条规则,这对于需要快速更新迭代的自动驾驶系统来说是难以承担的。端到端技术范式是指数据输入端和指令输出端通过完全数据驱动,让 AI 学习人类成熟驾驶行为,从而实现快速迭代、减少成本。小鹏在 2021 年开始转向端到端,目前其端到端大模型由神经网络 XNet+规控大模型 XPlanner+大语言模型 XBrain 三部分组成。

小鹏端到端大模型由 XNet、 XPlanner、XBrain 三部分组成

(1)神经网络 XNet:XNet 是深度视觉感知神经网络,是"静态 XNet""动态 XNet"与"纯视觉 2K 占用网络"的集成,可以比作智能驾驶的眼睛。其中"静态 XNet"可以对感知到的数据进行实时 3D 建图,使智驾系统摆脱掉对高精地图的依赖,提高智驾系统的适应能力;"动态 XNet"则具有对周边环境和交通参与者的行为进行预测与博弈的能力,并给出合理的决策,能够处理复杂的交通情况,提高驾驶的安全性和舒适性;"纯视觉 2K 占用网络"通过摄像头信息的分析,来构建 3D 体素来规划出空间内被占用和未被占用的路线,对现实世界中的可通行空间进行 3D 高真实度还原。深度视觉感知神经网络 XNet 的上车,能够对现实世界环境的重建更为精准,同时预测能力和行驶规划的能力也会更强,汽车感知范围提升 2 倍,面积可达 1.8 个足球场大小,能精准识别 50 个以上目标物。

小鹏 XNet 2.0 成功引入占用网络,感知范围、通用障碍物识别能力大幅提升

(2)规划大模型 XPlanner:XPlanner 同样基于神经网络,具备长时序、多对象、强推理的特点,能够结合分钟级以上的时序连续分析动机,并依据周边环境信息及时变通,生成最佳的运动轨迹,可以比作智能驾驶的小脑。通过海量"五星司机"的驾驶数据对规划大模型 XPlanner 进行训练,基于数据驱动模式迭代,取代人类手写规则代码,能让智驾系统的驾驶策略向着拟人化进化。效果上,规划大模型XPlanner 能够让小鹏汽车的智驾系统在真实道路体验中减少 50%的前后顿挫、60%的违停卡死以及 40%的安全接管。

基于神经网络的 Xplanner 具备长时序、多对象、强推理的特点

(3)大语言模型 XBrain:XBrain 的能力就是让智驾系统拥有类似人类大脑的学习和理解的能力,以此来赋予智驾系统处理复杂场景甚至未知场景的泛化处理能力,以及对现实世界中宏观逻辑的推理能力。XBrain 侧重于整个大场景的认知,XNet侧重于感知和语义。在 XBrain 的赋能下,小鹏汽车的智驾系统能够清晰地分辨出待转区、潮汐车道、特殊车道甚至是路牌文字,秒懂各种令行禁止、快慢缓急的行为指令,进而做出兼顾安全、性能的拟人驾驶决策,做出兼顾安全和效率的拟人驾驶决策。

利用大模型,小鹏智驾能"看懂"更多路标等信息

小鹏端到端技术逐步渐进,当前模型采用分段式结构。端到端大模型不是只有神经网络,而是将感知、策略和规控统一在相同的 Transformer 架构下,保证模型有足够解释性的前提下,逐渐提升各部分的一体化程度。小鹏的端到端大模型可分为三大部分,采用的分段式方案,据汽车新技术资料,相对于 One Model 方案,分段式端到端技术难度更低,同时对于算力和数据的要求也低的多:单一大模型的端到端智驾至少需要 3 万台量产车提供数据,而分段式可能只需要 1/10 的量。

1.2.2、 端到端大模型下迭代速度显著加快,助力体验升级

端到端时代,小鹏智驾迭代速度显著加快。迭代速度端到端小鹏高速 NGP 功能在2021 年 1 月开始推送,并在 2021 年开始转向端到端范式, 21 个月之后,在 2022年 10 月开通个别城市的城市 NGP,又过了 13 个月,在 2023 年 11 月,XNGP 正式无图推送,城市智驾开放 25 城,而仅仅 8 个月之后的 2024 年 520 AI DAY 发布会上,宣布量产上车国内首个端到端大模型,AI 智驾取代传统智驾,XNGP 开放到所有城市,全面无图时代到来。2025 年实现城区智驾比肩高速智驾体验:平均 1000 公里接管一次。自 AI 天玑系统 5 月 20 日全球首次发布以来,70 天内累计推送 5 次全量更新,实现至少 35 个版本迭代。

端到端技术的使用使得小鹏自动驾驶的进步大大加速

AI 智驾时代,庞大训练数据是智驾能力快速迭代的底座。

基于折算超 10 亿公里的视频训练(2023 年 5 月)、超 756 万累计公里数的实车测试(2023 年 7 月)、超 2.16亿累计公里数的仿真测试(2023 年 5 月),小鹏端到端大模型能够做到"每 2 天一次版本迭代,每 2 周一次体验升级",在未来 18 个月内智驾能力提升 30 倍。值得注意的是,除了实车数据之外,小鹏的数据量中也一定程度使用了仿真的合成数据,帮助小鹏在端到端时代数据量不足的情况下能够有效迭代。

对数据的清晰处理以及高效的挖掘和解读是小鹏高效迭代的重要抓手。

纯数据驱动的神经网络算法要实现升级迭代,数据闭环体系的构建是关键。通过收集实车数据、云端模型训练并结合仿真能力,自动驾驶算法的长尾场景应对能力将大幅提升。小鹏将数据闭环分为"数据收集、标注、训练和部署"四个环节,根据 2022 年小鹏 1024科技日数据,小鹏彼时已在近 10 万辆的小鹏车型上部署了超过 300 个触发器,形成了一个"全闭环、自成长的 AI 和数据体系",全栈数据闭环能力使城市场景被动接管率降低 38%,仿真能力使小鹏能够创造出更多的长尾场景,保护程度能提升 4 倍,数据获取及算法测试成本将大幅下降。

实车测试与仿真测试为小鹏训练的重要部分 全栈数据闭环使城市场景被动接管率降低 38%

1.2.3、 智驾领军车企,围绕智驾相关领域坚定布局

小鹏在自动驾驶研发投入、团队组织、云端算力、硬件自研方面坚定布局。

(1)在研发投入层面,小鹏 2024 年将投入 35 亿元用于研发"以智驾为核心的AI 技术",此后每年的相关投入只增不减。

(2)在团队组织层面,在 2024 年 1 月,小鹏以智驾为核心的 AI 技术团队已超3000 人,并新招募 4000 名专业人才。同时在组织架构上,据红色星际消息,小鹏在2024 年 8 月将负责算法研发的技术开发部分拆为三大部门,分别为 AI 端到端、AI应用、AI 能效,其中 AI 端到端部门负责端到端模型的研发,AI 应用部门负责交付,以提升端到端自动驾驶演进的效率。

(3)在算力层面,2024 年 7 月,小鹏 AI 算力储备已达 2.51EFlops,同时此后每年算力训练投入将超 7 亿元,其中在 2024 年峰值算力达到 7000 张训练卡以上。

(4)在硬件层面,据 36 氪 Pro 消息,小鹏从 2020 年开始搭建芯片团队,2022年选择索喜为芯片设计合作方,承包芯片后端设计,目前芯片已经流片,预计 8 月回片。除芯片之外,小鹏推出了首个驾舱融合的车载计算中心 XCCP 作为 XEEA 3.5架构的核心计算节点,集成了包括智能驾驶、座舱、仪表、网关、IMU、功放等功能,实现 40%的成本节约,同时性能提升 50%。

小鹏布局舱驾融合车载计算中心 XCCP

1.3、 XNGP 体验升级,智驾成小鹏"长期马拉松"关键

1.3.1、 阶段目标"全国都好用",向"全球都好用"进发

XNGP 正从提高城市覆盖度向体验升级转变。小鹏天玑 XOS 5.2.0 下的 XNGP 已经实现了全国都能开,而下一阶段的目标在于全国都好用,何小鹏提出"全国都好用"的三大标准:不限城市、不限路线、不限路况。

(1)不限城市:不限城市,指的是 XNGP 覆盖范围扩大至全国所有城市,真正摆脱高精地图束缚,将高阶智驾引入端到端大模型时代。仅仅是满足"不限城市",小鹏汽车就走了接近 20 个月,这也是中国智能驾驶从高精地图,到无图,演进至端到端全面追逐落地的竞争走势。XNGP 早在 2024 年年初就已具备"全国都能开"的能力,但为了确保智驾的安全性,小鹏汽车花费半年以上时间展开大规模的实车测试。截至 2023 年 7 月,XNGP 是行业唯一实车测试验证超 2595 个城市(含中国地级市及县级市区域),累计测试里程超 756 万公里,且 AI 训练泛化扩充全国所有城市的智驾系统,以业内罕见的饱和式智驾测试传递对智驾安全的高度重视。

(2)不限路线:不限路线,指的是 XNGP 可应用于国内所有公开道路,"能导航的地方,就能 AI 智驾"。小鹏汽车用了两年时间,走过了"城市快速路→部分主干道→所有城市主干道→所有公开道路"的路网覆盖之旅。

从"白名单"到"黑名单",小鹏开城方案转变。在技术、成本、数据、时间甚至政策等因素影响下,开城往往不是某个城市"全域开放",而是"白名单式"开放:只对城市里部分白名单道路开放,或只招募部分满足一定门槛的白名单用户开放,如此将会遇到自动驾驶系统仍未覆盖的路段和场景(如掉头、环岛等复杂场景),城市NOA 功能将会自动降级为 LCC 或退出要求接管。小鹏采取"黑名单式"开放:除了部分特定场景无法开(如保密区域等),其余全国所有路都能开,且对全量用户开放。在 XNGP 的最新公测版本中,AI 代驾已经能够自动通过 ETC 收费站。预计到2024 年第四季度,XNGP 将打通包括 ETC 收费站、停车场闸机、园区内部道路在内的智驾"断点",实现真正的"门到门"体验。

(3)不限路况:不限路况,指的是 XNGP 可适应包括掉头、环岛及狭窄小路等在内的复杂路况,成为首个复杂路况全覆盖的 AI 智驾。以往基于规则代码的智能驾驶辅助系统,面对环岛、掉头等复杂场景,只能通过工程师大量编写相应的规则代码来"预先适应",且通过率极低。而在已量产上车的端到端大模型赋能下,XNGP有效增强了"脑补"学习能力,可实现"边看边开",面对复杂多变的环岛、掉头场景,都能够实时应对。

XNGP 可适应掉头、环岛及窄路等复杂路况 小鹏汽车的智驾处于"全国都好用"的第一阶段

端到端与无图化帮助小鹏自动驾驶推向全球。小鹏正着手将 XNGP 推向世界,7 月小鹏宣布面向全球用户发起 AI 天玑 XOS 5.2.0 尝鲜招募,覆盖小鹏 G9、P7i、G6与 X9 车主各 1000 人,共计 4000 人,实现国内和海外用户首度同步体验,并于 8月 15 日在德国、挪威、丹麦、瑞典、荷兰、法国等 10 个国家推送。小鹏已在 2024年进入 30 多个国家,根据小鹏的计划,小鹏将于 2025 年研发全球范围的 XNGP。

依赖规则做到智驾全球化的需要人工编写各地的不同规则,落地成本较高,要实现全球都能开的自动驾驶,端到端和无图化是必由之路。

1.3.2、 从好用到爱用,小鹏销量拐点或将到来

智驾成为小鹏有力竞争优势,XNGP 功能赢得了用户的认可。何小鹏在 2024 年 8 月曾表示,在过去 12 个月,小鹏越高阶的车,用户选择智驾版的比例越高,侧面反应出用户对小鹏智驾能力的认可。2024 年 7 月,小鹏 XNGP 城区智驾月度活跃用户渗透率达 84%,而 2024 年 6 月小鹏 X9 用户报告显示,小鹏 X9 销售比例的 71%为配备高阶 XNGP 功能的 Max 版本车型。当智能驾驶的体验能够做到足够优秀,销量的关键拐点有望很快到来,而目前正在处于变化的起点。用户对小鹏 XNGP 功能认可不断提高。

从能用、好用到爱用,面向用户体验的 XNGP 有望渗透率进一步提高。小鹏汽车的智驾处于"全国都好用"的第一阶段,预计 2024 年第四季度实现"全国都好用"第二阶段的能力。小鹏预计其 XNGP 将在 2025 年底至 2026 年初进入全新阶段,做到提前应对潜在风险、通行效率优于人驾,大幅减少用户的安全接管与效率接管次数,同时做到加减速变道超车等操作丝滑流畅,提升用户体验,让用户真正爱用智驾。面向用户的 XNGP 将有望赢得用户认可,激活消费者智驾需求,渗透率有望进一步提高。

相关推荐
机智的叉烧12 分钟前
前沿重器[57] | sigir24:大模型推荐系统的文本ID对齐学习
人工智能·学习·机器学习
凳子花❀15 分钟前
强化学习与深度学习以及相关芯片之间的区别
人工智能·深度学习·神经网络·ai·强化学习
泰迪智能科技012 小时前
高校深度学习视觉应用平台产品介绍
人工智能·深度学习
盛派网络小助手3 小时前
微信 SDK 更新 Sample,NCF 文档和模板更新,更多更新日志,欢迎解锁
开发语言·人工智能·后端·架构·c#
Eric.Lee20213 小时前
Paddle OCR 中英文检测识别 - python 实现
人工智能·opencv·计算机视觉·ocr检测
cd_farsight3 小时前
nlp初学者怎么入门?需要学习哪些?
人工智能·自然语言处理
AI明说3 小时前
评估大语言模型在药物基因组学问答任务中的表现:PGxQA
人工智能·语言模型·自然语言处理·数智药师·数智药学
Focus_Liu3 小时前
NLP-UIE(Universal Information Extraction)
人工智能·自然语言处理
PowerBI学谦3 小时前
使用copilot轻松将电子邮件转为高效会议
人工智能·copilot