启元机器人 π0 与 GR00T N1 对比:VLA 模型的两条技术路线

本文所有关键数据均标注来源(两篇论文 arXiv 原文 / 官方发布页),文末附来源清单。

1. 开头:一个被反复验证的矛盾

具身智能圈这两年最常被问到的一个问题是:为什么大语言模型能靠「一个模型、全网数据、微调适配」通吃 NLP,而机器人策略却始终卡在「换一台机器就要重训、换一个任务就要重采」的怪圈里?

这个问题的难点不是算法,而是数据形态。语言模型的输出是一个个离散 token,而机器人的输出是一串每秒 20~50 次的连续电机指令------前者天然适配自回归,后者在高频、接触丰富的灵巧任务上会把离散化方案的精度与延迟逼到墙角。2024 年底到 2025 年初,两个最受关注的通用 VLA(Vision-Language-Action)基础模型几乎同时给出了各自的答案:Physical Intelligence 的 π0(arXiv 2410.24164) 和 NVIDIA 的 GR00T N1(arXiv 2503.14734)。

有意思的是,两者都选择了 Flow Matching 作为动作生成头,却把「视觉-语言语义」与「动作」之间的信息流设计成了两条截然不同的路线。本文就把这两条路线拆开,讲清楚它们分别「为什么这样设计」,以及各自适合什么场景------结论先说在前面:没有绝对优劣,只有适用边界的不同。

举个具体的对照:同样一个「把桌上碗盘收进桶里」的指令,π0 倾向在单次前向里把视觉语义和 50 步动作一并算出来,端到端延迟极低,适合需要连续高频微调的折叠、装配;GR00T N1 则让慢速的 System 2 先把场景和指令「想清楚」,再由 120Hz 的 System 1 把计划翻译成动作,适合需要较强语言跟随与多步规划的任务。起点不同,但终点都是「听得懂话、做得了活」的通用操作策略。

2. 两条路线共同要啃的硬骨头

在对比之前,先统一一个背景。主流 VLA 早先沿用了 RT-2 奠定的「动作即文本 token」范式:把每个动作维度离散化(分箱)成 token,再用自回归逐 token 解码。这条路线有两个结构性瓶颈(π0 论文对此有专门论述,arXiv 2410.24164 §I):

  • 频率与延迟受限:自回归串行解码,输出未来一段动作块时 token 序列成倍变长,难以达到灵巧任务所需的高控制频率;
  • 精度受限:连续动作硬分箱会损失精细操作所需的数值分辨率,且天然不适配「一次预测一整段平滑轨迹」的动作分块(action chunking)思路。

π0 与 GR00T N1 都不约而同地放弃了自回归离散化,改用连续生成(Flow Matching / Diffusion 类)直接产出动作块。但在这之后,二者如何组织「语义理解」与「动作生成」的关系,走上了分叉口。

机器人想复制 NLP「预训练+微调」的范式,要过三道坎(arXiv 2410.24164 §I)。第一,数据无法爬取 ------语言语料能从互联网 scrape,机器人演示却必须有人去遥操作采集;第二,本体形态各异 ------单臂 UR5e 是 7 维动作,Franka 是 8 维,双臂/移动操作可达 14~16 维,一个共享动作向量必须靠零填充兼容;第三,输出是连续流------语言模型一秒吐一个离散 token,机器人却要每秒 20~50 次输出连续电机指令。前两道坎决定了「数据怎么来、怎么对齐」,第三道坎决定了「动作怎么生成」。π0 与 GR00T N1 的路线分叉,本质上就是对这三道坎给出了两套不同的工程回答。

3. 路线 A:π0 的「共享自注意力」一体式架构

图1 说明:Physical Intelligence 开源的 openpi 仓库。与 GR00T 一样,π0 也把代码与权重公开,两条路线在「开放程度」这一维度上实际差别不大。

图2 说明:π0 论文在 arXiv 的页面。π0 侧的数据以此原文与 Physical Intelligence 官方博客为准。

3.1 单一 Transformer,两套权重

π0 的骨架是一个 PaliGemma 3B VLM(SigLIP 400M 视觉编码器 + Gemma 2B 语言模型),在其上外挂一个约 300M 参数的「动作专家」(action expert),从头初始化。关键在于:二者并不独立成两个网络,而是放在同一个 Transformer 里,通过注意力掩码让 VLM 权重块与动作专家权重块共享自注意力(arXiv 2410.24164 §IV、Appendix B)。这类似于一种 MoE 式的双专家结构:图像/语言走 PaliGemma 权重,本体感知与带噪动作走动作专家权重,三者在一个序列内通过 blockwise causal 注意力交互。

图3 说明:π0 把 VLM 主干与动作专家嵌入同一 Transformer,靠共享自注意力完成信息融合;动作专家用 Flow Matching 一次性吐出 50 步动作块。

图4 说明:π0 论文原图(arXiv 2410.24164):左侧是预训练数据来源(π 自采数据集、互联网预训练、Open X-Embodiment),中间是 pre-trained VLM(SigLIP 400M + Gemma 2.6B)与 300M 动作专家,右侧输出对接 7 种不同本体的动作头------「一套权重 + 多本体动作头」的跨本体思路在图上很直观。

这种设计的好处是推理路径极短:语义理解和动作生成在单次前向里就完成了融合,昂贵的 VLM 前缀 KV 还能跨去噪步缓存(arXiv 2410.24164 Appendix D)。

具体看注意力掩码,π0 用的是 blockwise causal 结构,把序列分成三个块:图像, 语言、本体状态、带噪动作。块内双向注意力,靠前的块不能 attend 靠后的块------这意味着图像与语言的 KV 在多个去噪步之间是稳定的,可以只算一次就缓存复用,进一步压低延迟。动作专家与 VLM 之间正是通过这种受控的自注意力完成信息流动,而不是外部显式的特征拷贝。这也是它和 GR00T N1「cross-attention 从外部读取语义 token」在机制上的根本分野。

3.2 Flow Matching 动作专家与 50Hz 控制

动作专家用条件 Flow Matching(扩散的一种连续变体)直接从噪声迭代生成连续动作。论文报告:推理时用 10 步前向欧拉积分,在 RTX 4090 上车载实测单次动作块前向 73ms(含 14ms 图像编码、32ms 观测前向、27ms 流步),板外含网络 86ms(来源:arXiv 2410.24164 Appendix D,Table I)。模型一次输出 H=50 步动作块,对 50Hz 机器人每 0.5 秒推理一次、执行 25 步,从而支撑最高 50Hz 的高频灵巧控制(如叠衣服)。

需要解释一个常见疑问:π0 用的是 Flow Matching 而非更常见的 DDPM 扩散,差异到底在哪?二者都从噪声迭代去噪,但 Flow Matching 学习的是从噪声到数据的「向量场/速度场」,推理时只需很少的积分步就能收敛------π0 用 10 步前向欧拉即可;而 vanilla Diffusion Policy 常需 100 步以上去噪,延迟高一到两个数量级。对 50Hz 这种高频场景,去噪步数直接决定能否实时------这正是 π0 选 Flow Matching 的硬理由,而非风格偏好。也正因为动作是连续生成而非离散 token,它天然支持「一次预测一整段平滑轨迹」的动作分块,这是离散化方案做不到的。

3.3 数据策略:用真机小时数堆出泛化

π0 走的是「横向把真机数据做厚」的路线。预训练混合数据包含 超过 10,000 小时 跨本体遥操作数据,覆盖 7 种机器人构型、68 个任务 ,外加 Open X-Embodiment(22 台机器人)、Bridge v2、DROID 等开源数据,其中开源数据占混合比例的 9.1%(来源:arXiv 2410.24164 §V)。其哲学是:泛化来自于大规模、跨本体的真实采集,而非靠合成数据补齐。代价也很直白------上万小时真机遥操作的数据采集成本极高。论文还给出 π0-small(470M、无 VLM 初始化)的消融实验:即便参数更小,因继承了 VLM 的语义先验,仍在不少任务上超过 OpenVLA(7B)与 Octo(93M),说明「用 VLM 当底座」不是锦上添花,而是泛化的关键杠杆(arXiv 2410.24164)。这也反过来佐证:π0 路线的护城河,既是数据,也是那一层预训练语义。

4. 路线 B:GR00T N1 的「cross-attention 解耦」双系统

图5 说明:GR00T N1 论文 arXiv 页面(arXiv:2503.14734),路线 B 的数据来源。

4.1 快慢脑分工

GR00T N1 借鉴了人类「系统 1/系统 2」的认知分工,把策略显式拆成两个系统(arXiv 2503.14734;NVIDIA GTC 2025 发布稿):

  • System 2(Eagle-2 VLM) :负责视觉-语言理解与推理规划,低频「慢思考」,运行频率 10Hz,约 1.34B 参数;
  • System 1(DiT + Flow Matching) :负责把 System 2 的语义计划翻译成连续动作,高频「快执行」,运行频率 120Hz。

图6 说明:GR00T N1 把「想」与「做」分到两个系统,System 1 通过 cross-attention 读取 System 2 的语义表征。

4.2 Cross-attention 解耦连接

与 π0 把两套权重塞进同一自注意力不同,GR00T N1 的 System 1 与 System 2 是解耦 的两个模块:System 1 的扩散 Transformer 通过 cross-attention 去读取 System 2 输出的语义 token,而非共享同一组自注意力(arXiv 2503.14734 §3,原文记为 cross-attending to the VLM output tokens)。论文报告 System 1 单次 16 步动作块采样 63.9ms(L40,bf16,K=4 欧拉去噪),整体模型 2.2B 参数。

更工程化的一点是,GR00T N1 用 embodiment 专属的 MLP 编码器/解码器 处理变长本体状态与动作维度(按 embodiment ID 索引、零填充到统一长度),这让同一套权重能直接覆盖从 Franka 单臂到傅利叶 GR-1 人形的不同构型,而不必像 π0 那样为每种本体重新设计动作向量------这是「cross-embodiment 通用模型」口号能落地的关键机制(来源:arXiv 2503.14734;HF 模型卡)。换句话说,cross-attention 解耦 + 专属 MLP 适配器,让「换本体」变成改一个轻量头部,而不是重训主干。

这种解耦的架构价值在于可独立演进:VLM 主干与动作头可以分别升级,而不必重构整个网络。(N1 之后英伟达陆续迭代了若干版本,各版本替换的 VLM 型号请以官方仓库与模型卡为准,本文不逐一列举。)

4.3 数据金字塔:少真机、多合成

GR00T N1 的数据策略与 π0 正好相反,是一套「纵向」的数据金字塔(arXiv 2503.14734):

  • 基座层:无动作标签的人类第一视角视频,通过 VQ-VAE 潜在动作编码 + 逆动力学模型,转成可训练的「伪本体」;
  • 中间层:用 DexMimicGen 仿真 + 神经轨迹生成,把 88 小时 真机数据放大到 827 小时;
  • 顶层:真机遥操作 + Open X-Embodiment + AgiBot-Alpha。

论文一个关键结论是:仅用 10% 真机数据做后训练,模型仍能保持强性能(arXiv 2503.14734)。这把「真机采集贵」的痛点用「合成数据 + 潜在动作桥接」绕了过去,代价是对合成数据质量高度敏感(论文自述局限之一)。金字塔底座的人类视频近乎免费、规模近乎无限,这正是它敢把真机占比压到 10% 的底气;但逆动力学模型把无标签视频翻译成「伪动作」时必有误差,且会沿金字塔向上累积------所以论文把「合成数据质量」列为首要局限,并非客套,而是这条路线的真实天花板。

5. 五维对比:把差异摆到一张表里

下面用一张表把两条路线的核心差异并列,所有数据均附出处。

对比维度 π0(路线 A) GR00T N1(路线 B) 数据出处
模型架构 单一 Transformer,VLM 权重 + 动作专家权重共享自注意力(MoE 式) 双系统,cross-attention 解耦连接 System 2 与 System 1 π0: arXiv 2410.24164 §IV;GR00T: arXiv 2503.14734
控制频率 最高 50Hz(动作块 H=50,50Hz 机每 0.5s 推理一次) System 1 120Hz,System 2 10Hz(动作块 16 步) π0: arXiv 2410.24164 App. D;GR00T: arXiv 2503.14734 §3
动作生成 条件 Flow Matching,10 步欧拉,单次 73ms(RTX 4090) DiT + Flow Matching,K=4 欧拉,单次 63.9ms(L40 bf16) π0: arXiv 2410.24164 Table I;GR00T: arXiv 2503.14734 §3
参数量 总计 3.3B(PaliGemma 3B + 动作专家 300M) 总计 2.2B(VLM 约 1.34B) π0: arXiv 2410.24164;GR00T: HF 模型卡(safetensors 元数据)
数据策略 横向:>10,000h 真机(7 构型/68 任务)+ 开源数据(9.1%) 纵向数据金字塔:人类视频→仿真/神经轨迹 88h→827h→真机+OXE+AgiBot π0: arXiv 2410.24164 §V;GR00T: arXiv 2503.14734
开源程度 全开源:openpi 仓(Apache-2.0),含训练/推理代码与开放权重,π0/π0-FAST/π0.5 权重开放(HuggingFace nvidia/GR00T-N1-2B)+ Isaac-GR00T 框架与后训练脚本;原 N1 权重采用 NVIDIA 开放模型许可,商用前须核对模型卡上的最新条款 π0: openpi README;GR00T: HuggingFace 模型卡

图7 说明:左为 π0 的「共享自注意力」一体式,右为 GR00T N1 的「cross-attention 解耦」双系统------本质差异在于语义与动作之间的信息如何流动。

图8 说明:左为 π0 横向堆真机规模,右为 GR00T N1 纵向数据金字塔;两种策略对应不同的成本结构与泛化假设。

关于上表数字的可比性,要先说清楚一件事:两篇论文的评测任务、机器人本体与计分规则都不相同,π0 的 73 ms 是在 RTX 4090 上跑自家动作专家测得的,GR00T N1 的 63.9 ms 是在 L40 上跑 16 步动作块测得的,两者动作块长度(50 步 vs 16 步)也不一致。所以这张表适合用来理解"各自的设计取舍",不适合用来判定"谁更快"。真要选型,应在自己的本体与任务上跑一遍同口径基准------这也是 §7 给出可复现路径的原因。

把上表翻译成「选型决策」,可以给开发者一个粗略的参照:如果你的团队已经积累了相当规模的同构型真机数据 ,且任务对控制频率(如需要 50Hz 级精细接触)要求高、希望推理延迟尽可能短,π0 的一体式短路径更省心------它把语义与动作压进单次前向,工程链最简洁。如果你的目标是快速把模型搬到一个新本体(例如从双臂桌面换到人形),且真机采集预算有限、愿意用仿真与视频数据补足,GR00T N1 的「双系统 + 专属 MLP 适配器 + 数据金字塔」能显著降低跨本体适配与数据成本,代价是你要接受对合成数据质量的依赖,并留意原版权重的许可边界。两条路线也并非互斥。解耦架构的好处是模块可组合,理论上可以把一家的跨本体底座与另一家的高频动作头拼起来用;不过这只是架构层面的可能性,本文没有可引用的公开落地案例,真要这么做需自行验证接口与控制时序能否对齐。

6. 局限与冷静分析(双方都写)

客观起见,两条路线都有论文自述或隐含的风险,不能只讲亮点:

π0 侧:

  • 论文自述其评测以内部任务与自定计分规则为主,跨论文横向对比需谨慎(评测结果属作者自报,尚无大规模第三方独立复现);
  • 数据高度依赖万小时级真机采集,对资源有限的研究者/中小团队门槛高;
  • 动作块以开环方式执行(论文发现时序集成 temporal ensembling 反而损害性能,故弃用),对突发扰动的在线纠正能力有限。

GR00T N1 侧:

  • 论文自述局限包括短时程桌面操作 与合成数据质量依赖(arXiv 2503.14734);
  • 原 N1 权重采用 NVIDIA 开放模型许可,商用前须核对官方模型卡的最新许可条款,或自担风险;
  • 数据金字塔的「伪本体」依赖潜在动作编码与逆动力学模型的准确性,合成数据一旦失真会系统性带偏策略。

由此可见,两条路线都不是「银弹」:需要高频精细、且具备真机数据积累能力的团队,π0 的一体式短路径更顺手;需要快速跨本体适配、真机采集受限的团队,GR00T N1 的金字塔 + 双系统更友好。

再补一句工程视角的提醒:π0 的强项(短延迟、高频)依赖你手里有接近它预训练分布的本体与数据;若你的机器人形态偏离 7 类训练构型较远,单靠微调未必能立刻复现论文里的灵巧度,往往需要补采。GR00T N1 的强项(跨本体、少真机)则依赖你搭得起数据金字塔的合成链路------潜在动作编码器和逆动力学模型的训练本身也是一道工程门槛。选路线前,先盘一眼自己手里「数据」和「本体」两张牌,比单纯追 SOTA 数字更务实。

7. 落回启元语境:开源 VLA + 启元 Q1/T1 的复现路径

图9 说明 :启元机器人在 AtomGit 的组织主页。国内镜像仓对开发者的实际意义是下载速度与可达性,这一点在拉取 URDF 这类含大量 STL 网格的仓库时尤其明显。

作为启元机器人征文,必须把技术路线接回开发者可落地的场景。两条开源 VLA 都提供了可复现的入口,而启元 Q1/T1 的开源资料包正好能补上「本体与仿真」这一环:

7.1 用开源 VLA 作为起点

  • π0 侧:克隆 Physical-Intelligence/openpi(Apache-2.0),其提供 JAX / PyTorch 两套训练入口与预训练权重,可在自有数据上微调;
  • GR00T N1 侧:使用 NVIDIA Isaac-GR00T 框架(GitHub)与 HuggingFace nvidia/GR00T-N1-2B 权重,后训练脚本兼容 LeRobot 数据格式。

7.2 用启元 Q1/T1 本体与仿真做「目标平台」

启元已开放 Q1/T1 的 ROS2 二次开发 SDK(primebot-q1-sdk / primebot-t1-sdk,v1.0.0.0,GitHub 与 AtomGit 双仓),以及 V3.0 URDF 包(含自由度连杆模型、STL mesh、MuJoCo XML、RViz/Gazebo launch)。开发者可把 VLA 输出的动作(相对/绝对末端位姿或关节目标)桥接到启元本体的关节空间,在 Gazebo/MuJoCo 仿真中先验证策略,再上真机。

7.3 一条可执行的复现草图

  1. 从 openpi 或 Isaac-GR00T 拉取基础权重;
  2. 用启元 URDF 在仿真中生成/采集目标构型的遥操作或专家轨迹(可借 PrimeHub dev kit 的动作录制链路);
  3. 按 LeRobot / openpi 数据格式对齐状态-动作维度,做后训练;
  4. 在仿真中零样本/少样本评测,再上启元真机微调。

7.4 动作空间对齐的两个具体坑。 其一,VLA 原生多在「相对末端位姿增量(delta EEF)」或「关节目标」空间输出,而启元 Q1/T1 的 URDF 给出的是带连杆自由度的关节空间,需要做末端到关节的逆运动学(IK)映射;后续 GR00T 版本逐步统一到 relative EEF 表示(以官方最新仓库为准),这类相对位姿输出与跨本体迁移更友好,可优先参考。其二,控制频率要对齐------π0 的 50Hz 动作块需按启元控制器的伺服周期切分播放,避免动作块在仿真与真机间因时间基准不一致而漂移。这两点建议在仿真阶段就用 MuJoCo/Gazebo 验证闭环,再上真机。

图10 说明:启元开发者社区资料下载页(dev.primebot.com/download)。上面 7.1--7.3 节所需的 SDK、URDF 与工具链都从这里按机型分发------复现路径的第一步就是把这个资料包拉到本地。

需要说明:截至目前,是否已有「启元 Q1/T1 + 开源 VLA」的官方端到端微调示例教程尚待确认,本文给出的是一条工程可行路径,而非已发布的成品方案。

8. 总结

π0 与 GR00T N1 代表了 VLA 基础模型在「语义-动作融合方式」上的两条清晰路线:π0 用共享自注意力 把一切压进单次前向,换来短延迟与高频(50Hz);GR00T N1 用 cross-attention 解耦的双系统把「想」与「做」分开,换来 120Hz 高频动作与模块可独立演进。数据上,前者横向堆真机规模、后者纵向造数据金字塔。对开发者而言,二者都已开放可用,配合启元 Q1/T1 的开源 SDK 与 URDF,完全存在一条「开源 VLA + 国产本体仿真/真机」的复现路径。

技术选型时不必站队:看你的真机数据储备、控制频率需求与跨本体适配范围,两条路线各有最优解。


如果你也在启元机器人上做二次开发,欢迎到启元机器人开发者社区 https://dev.primebot.com/ 交流,那里有官方文档、SDK 仓库入口和开发者讨论区。文中若有不准确的地方,也欢迎在仓库提 Issue 指出来。

相关推荐
兜里只有三分钱~2 小时前
从 URDF 到 SDK:开发者视角拆解启元 T1/Q1 机器人架构
机器人·sdk·仿真·ros2·urdf
科技新资讯3 小时前
展厅服务机器人推荐:企业展厅与科技馆怎么选
机器人
GlobalInfo15 小时前
2026年全球机器人用超平执行器市场研究报告:市场规模达7.51亿美元,人形机器人商业化与轻量化运动控制需求推动行业增长
大数据·人工智能·数码相机·microsoft·机器人
m0_7196408716 小时前
2026年高校科研机构轮式双臂机器人二次开发平台搭建测评指南
经验分享·机器人
ZEB110617 小时前
首届安全应急救援机器人大赛在广州举办 深圳璇玑动力斩获多项冠军
安全·机器人·消防
tianxuanjg1 天前
无人机科研轻量化结构件采购指南|高校实验室选型避坑:轻量化与结构强度如何兼顾
人工智能·经验分享·机器人·无人机·制造
海盗12341 天前
微软技术日报 2026-11-02:开发者环境服务退役、Defender 清点本地 AI 代理
人工智能·microsoft·机器人·人工智能aigc
m0_719640871 天前
2026年高校科研用轮式双臂机器人二次开发平台怎么部署搭建
经验分享·机器人
品牌常新1 天前
室外巡检机器人推荐:园区与厂区怎么选
数据库·人工智能·机器人