NVIDIA智能汽车技术实战营笔记——Alpamayo

前言

2026年1月5日，拉斯维加斯CES展台上，NVIDIA发布了一款名为Alpamayo-R1的自动驾驶模型。彼时，大多数人仍将其视为又一篇"VLA（视觉-语言-动作）论文的工程实现"。但随后半年间，这个模型以惊人的迭代速度完成了从10B到32B、从单前向到360°全景、从开环预测到闭环强化学习的三级进化，悄然重塑了端到端自动驾驶的技术版图。

本文将简单梳理Alpamayo 1 → 1.5 → 2 Super 三个版本的核心突破，并基于RTX 4090（24G）环境完成v1版本的本地部署与因果链推理可视化，体验Alpamay的强大功能。

版本总览

版本	对外名称	公开时间	核心定位	论文	参数大小	开源地址
v1	Alpamayo-R1 → 后改名 Alpamayo 1	2026-01-05（CES）	首个公开的开放式 reasoning VLA（Vision-Language-Action）自动驾驶模型	Alpamayo-R1: Bridging Reasoning and Action Prediction for Generalizable Autonomous Driving in the Long Tail	10B	https://github.com/NVlabs/alpamayo
v1.5	Alpamayo 1.5	2026-03-19 左右	在 1 的基础上增加了： RL post-trained、支持Navigation conditioning、支持General VQA、支持Flexible multi-camera support	Alpamayo-R1: Bridging Reasoning and Action Prediction for Generalizable Autonomous Driving in the Long Tail	10B	https://github.com/NVlabs/alpamayo1.5
v2	Alpamayo 2 Super	2026-05-31	更大规模的 teacher / super model，面向 robotaxi 与更高质量 reasoning + perception；感知侧进一步升级，从前摄像头扩展至前、侧、后方的 360 度全景感知；推理自动标注与 2D 定位：引入具有 2D 定位的推理自动标注，使得 320 亿参数的基础模型能够提供高质量的推理标注；	暂无	32B	预计7月中下旬开源

Alpamayo版本概况

Alpamayo 1

痛点问题：端到端自动驾驶在长尾场景(如复杂交叉口、施工区域等)中仍面临挑战，鲁棒性差、因果理解不足，任务规划失败。
Alpamayo 1 解决思路：让模型生成可读的推理文本，解释驾驶决策的原因，而不仅仅是输出轨迹点，即增加了可解释性和因果推理。
核心架构：模块化VLA架构（结合Cosmos-Reason（为物理AI应用预训练的视觉-语言模型）与基于扩散的轨迹解码器，实时生成动态可行的计划），包含以下个部分：
- 视觉编码器：处理多摄像头输入；
- 语言骨干网络：采用Cosmos-Reason 作为VLM 骨干网络，理解自然语言驾驶指令；
- 因果推理引擎，并不是直接输出结果，而是会生成一个"Chain-of-Causation"推理过程，解释为什么选择某个轨迹；
- 轨迹解码器：基于 Flow Matching 的扩散模型，将离散轨迹 token 转换为连续轨迹。基于unicycle动力学建模，保证轨迹的物理可行性。
数据集：
- 基础数据集：基于nuScenes等公开驾驶数据集
- CoC数据集：混合人工和自动标注，包含结构化推理轨迹
- 物理AI领域数据：覆盖机器人、医疗、智慧城市等多领域数据用于预训练
- 人类标注数据：10-20%高质量人工标注样本用于监督微调和评估
- 自动标注数据：大规模自动生成的结构化标注数据

Alpamayo 1.5

实现了完整的Alpamayo生态系统：开放的AI模型、仿真框架及物理AI数据集组合
Physical AI-AV数据集为推理模型注入真实世界经验，自动驾驶系统的可靠性很大程度上取决于训练数据的质量和多样性；
新增了人工标注的推理标签reasoning labels这些标签详细记录了人类驾驶员在特定场景下的决策逻辑
在 Alpamayo 1 发布的架构基础上进行了扩展，完全实现了上面论文中的内容；相比于1新增了4个功能：

1、RL 后训练（RL Post-training）

引入了强化学习（Reinforcement Learning）对模型的推理（Reasoning）与动作（Action）一致性进行联合优化。

支持自然语言输入的驾驶指令，例如可以直接用200米后左转这样的指令来引导轨迹生成这种可解释的规划方式

3、通用视觉问答（General VQA）

1.0 版本只专注驾驶任务，而 1.5 变成了一个可交互的通用视觉理解模型

4、灵活的多摄像头支持（Flexible Multi-camera Support）

模型架构支持可变数量的输入摄像头，1.5 的这一改动极大提升了部署灵活性------不同车型的环视摄像头数量不同时，无需重新训练模型即可适配。

Alpamayo 2 Super

3 倍参数规模 ：基于 NVIDIA Cosmos™ 世界基础模型构建，Alpamayo 2 Super 的参数规模扩展至 320 亿，相比此前 100 亿参数版本显著提升了长尾场景中的推理、3D 空间理解和轨迹预测能力。
全景感知：从前摄像头扩展至前、侧、后方的 360 度全景感知，为模型提供完整的场景信息，从而实现更安全的变道、并线和交叉路口通行。
元动作 (Meta-Action)：新增元动作输出，包括让行、变道和停车等宏观行动，使模型除了预测轨迹和因果链追踪外，还能够为下游规划提供高级驾驶决策。
推理自动标注与 2D 定位：引入具有 2D 定位的推理自动标注，使得 320 亿参数的基础模型能够提供高质量的推理标注，将标注周期从几个月压缩至几天，并重塑辅助驾驶数据管线的成本与效率体系。
优化的因果链和轨迹质量：优化了因果链追踪和轨迹预测，尤其是在传统基于模仿学习的辅助驾驶堆栈难以应对的罕见、复杂、长尾场景中表现更为出色。

AlpaGym

https://github.com/NVIDIA-NeMo/Gym
AlpaGym 是一个开源且具备高吞吐能力的闭环强化学习框架。与依赖静态数据集、仅进行单轮动作预测的传统开环训练范式不同，AlpaGym 将智能体置于 NVIDIA AlpaSim 仿真环境中，通过持续的决策与观察循环，在该机制下，每一次制动、转向及路径规划操作均会实时反馈至仿真环境并产生连锁影响。这种设计能够有效暴露静态数据集中难以捕获的累积误差与长尾边缘故障，从而显著提升模型在复杂动态场景下的鲁棒性。

OmniDreams

https://github.com/nv-tlabs/omni-dreams
全新的生成式世界模型，能够生成逼真的闭环辅助驾驶场景，支持开发者大规模仿真罕见的长尾驾驶场景。
完整的闭环模拟工作流程如下图所示：策略模型(这里是Alpamayo 1 (NVIDIA，2026))或用户向AlpaSim仿真运行时发送动作。AlpaSim更新模拟状态并将上下文转发给OmniDreams，OmniDreams合成下一个摄像机帧并将它们返回给策略，完成循环。

部署体验

环境配置

RTX 4090 24G + Python 3.12.11

bash 复制代码

git clone https://github.com/NVlabs/alpamayo.git
cd alpamayo

uv venv alpha_env 
source alpha_env/bin/activate

uv sync --active

跟随教程生成了因果链推理（Chain-of-Causation）以及成功预测了车辆行驶轨迹：

可视化：
模型接收到的所有摄像头画面如下：

轨迹可视化：预测轨迹（蓝线）和真实轨迹（红色线）

可以看到，预测轨迹与真实轨迹在整体走向上高度一致

加载10B模型并进行单帧推理，对于离线场景或仿真基本可接受，但若需上车实时部署，仍需量化或蒸馏优化

总结

回顾Alpamayo家族半年来的演进，一条清晰的技术主线贯穿始终：从"**可解释的轨迹预测"**到"可交互的物理AI平台 "再到"可规模化的数据标注工厂 "。

值得关注的是，Alpamayo 2 Super 的32B模型预计于2026年7月中下旬开源。届时，开源社区将首次拥有一个具备全景感知+元动作+自动标注能力的工业级自动驾驶VLA模型。对于中小型自动驾驶团队而言，这无疑是一剂强力催化剂。