第一部分 GR00T 2: Scaling Robot Foundation Models forGeneralization, Dexterity, and Adaptation
1.1 引言与概述
1.1.1 引言
来自英伟达的研究者，于近日提出了GR00T 2，这是一代全新的基础世界-动作模型（World-Action Models，WAM）。GR00T 2 通过联合预测未来的视觉观测和具身动作 ，++学习物理交互如何随产生这些交互的动作而展开++
通过在大规模、多样化的人类与机器人经验上进行预训练，GR00T 2 在平行夹爪机器人和灵巧手两类平台上均发展出通用的操作能力
作者展示了四项主要进展
- 第一，GR00T 2 在多种操作任务和不同机体形态上即插即用地展现出强大的性能
- 第二，其预训练能力使其能够以极少的示范快速适应具有挑战性的全新任务
同时，强化学习通过真实世界交互进一步提升操作的可靠性 - 第三，GR00T 2 支持x-adaptation（跨形态自适应），通过对未来观测与动作的联合预测，将从一种机体形态中获得的物理知识迁移到另一种形态
- 最后，GR00T 2 通过两项互补能力支持agenticcontrol（代理式控制）：
其一是结合和恢复技能的 code-as-policy（CaP）范式，使高层代理能够编排操作并从执行失败中恢复；
其二是通过 WAM API 实现可引导的世界-动作生成，使代理可以利用视觉目标引导和组合机器人行为
首先，对于X-适应性的出现
-
GR00T 2 的一项核心创新是其跨适应（x-adapt）能力，它使得模型能够在训练中从未见过的"任务-场景-机体"组合上实现泛化
设想这样一种情况：某个操控任务只在人的演示中出现过，而机器人机体则是通过一套完全不同任务的数据来表征的。通过联合的世界-动作预训练，GR00T 2 学会想象：当目标机器人执行该任务时，任务将如何展开，并据此为这种想象中的交互生成相应的动作
-
这就形成了一种机制，可以在异构经验来源之间迁移物理知识，包括 UMI 演示、灵巧 UMI 数据、人手交互，以及运动学特性差异巨大的各种机器人机体
作者通过跨机体迁移实验和零远程操控的灵巧学习系统来探究这一能力，表明无需采集面向具体任务的机器人演示，就有潜力直接从人类经验中习得机器人技能
更广泛来看，跨机体想象指向了机器人基础模型的一种新的可扩展性特征：在预训练中学到的物理行为，可以在不同机体之间转化为可执行的能力
其次，对于快速适应与具身自主控制
GR00T 2 在泛化能力、灵巧性和适应性方面推进了预训练机器人策略的能力
-
多样化的预训练数据混合为模型赋予了广泛的物理行为库，使其在"开箱即用"时即可展现出色表现，并能通过少量示范迅速掌握具有挑战性的全新技能
且进一步通过强化学习（RL）扩展这些能力，以提升操作的可靠性，并实现高效推理，从而支持响应迅速的闭环控制
-
此外，在这些已学得技能的基础上，作者将 GR00T 2 与更高层的推理智能体集成，这些智能体使用 CaP 来组合操作技能、监控执行过程，并从意外失败中恢复，使 GR00T 2 在面向复杂的长时域操作任务时更接近可部署级别的可靠性
-
除了技能组合和故障恢复之外，GR00T 2 的联合世界---动作表示为通过期望的视觉结果和中间未来状态引导机器人行为提供了一种天然接口
即开发了一个 WAM API，将这一能力暴露给更高层的智能体，使其能够通过视觉目标来引导和组合机器人行为
这些能力共同为具身智能体机器人系统开辟一条路径，使高层次推理和规划能够直接利用通过"世界-动作"预训练所获得的物理智能
最后，对于GR00T 2 Turbo：Token 高效的世界建模
GR00T 2 Turbo，这是一种为高效世界-动作建模而设计的 GR00T 2 轻量级变体
- 联合视频-动作预测使得动作能够受益于已学习到的视觉动态，但处理视频 token 的开销可能很大，特别是在多视角、低时延控制场景中
- GR00T 2 Turbo 通过更加紧凑的视频表示来降低这一成本，同时保留联合世界-动作建模框架
这一设计使训练和推理更为快速，使 GR00T 2 Turbo 非常适合全身控制，同时在双臂和灵巧操作任务上依然显著优于各类基线方法
1.1.2 GR00T 2 概述
GR00T 2 是一种世界-动作模型（World-Action Model, WAM）：在给定机器人的视觉与本体感受输入以及用户指令的情况下，由单一模型同时预测场景将如何演变以及机器人将采取的动作
一个预训练检查点即可同时覆盖平行夹爪机械臂、灵巧手以及仿人机器人，并从多样的源数据中学习，包括人类第一视角视频、手持式 UMI 夹爪数据以及机器人遥操作数据
第一，对于输入与输出
在每一个控制步，GR00T 2 会接收：
- 来自最多四个摄像头、分辨率为 224×320 的图像的 0.8 秒历史序列，帧率为 5 fps，通常包括一个头部摄像头和分别安装在每个手腕上的摄像头
- 机器人的本体感受状态
- 一条自然语言指令。它将输出一段未来动作序列，同时预测每个摄像头对应的未来图像帧。机器人在计算下一段动作（参见附录 K.5 节）时，通过自身的控制器执行这一个动作块
第二，对于架构
GR00T 2 架构基于 Cosmos-Predict2.5-2B，这是一种为世界模拟预训练的视频扩散Transformer（NVIDIA 等，2025a）。视频、状态和动作输入会被转换为同一序列中的一系列 token，并由一个拥有 20 亿参数的单一 Transformer 进行处理
-
视频
一个冻结的Wan 2.1视频VAE （Wan Team 等，2025）将每个摄像机流在时间上压缩4× 倍，在每个空间维度上压缩8× 倍潜变量被拆分成patch，在224×320 下，每个潜变量帧和每个摄像机得到280 个token。一个学习到的视角嵌入告诉模型每个token 来自哪一个摄像机
过去的帧作为上下文输入，未来的帧被生成 -
语言
一个冻结的Cosmos-Reason1 视觉-语言VLM模型（NVIDIA 等，2025b）对指令进行编码，transformer通过交叉注意力读取指令 -
状态和动作
小型的、具体到具身形式的MLP 将机器人状态和带噪声的动作片段映射到transformer 的宽度上
而一个具体到具身形式的解码器将输出token 映射回动作
在 Transformer 内部，视频 token 在时间维度和不同摄像机之间相互注意（attend），而动作 token会关注所有视频 token，包括当前正在生成的未来帧。因此，动作可以顺应模型所想象的未来。GR00T 2 使用 flow matching（Lipman 等人，2023）在未来的视频潜变量和动作上进行联合训练，对视频和动作分别使用一个损失函数。在推理阶段，只需少量去噪步骤即可：在我们的部署中（附录 I.1 节），视频去噪只需一到两步，动作去噪约需两到四步
第三，对于GR00T 2 Turbo
-
高效的世界-动作建模。虽然在工作站 GPU 上部署时，GR00T 2 已经可以实现实时运行（在 GeForce RTX 5090 上，从三个摄像头视角为 Dexter 预测一段动作块的中位延迟为 153 毫秒，见表 27），但类人整躯行走与操作任务对时延提出了更加严格的要求
策略必须快速响应，以在机器人移动过程中保持全身动作协调，并且还必须能够在板载计算平台上运行------例如 NVIDIA Jetson AGX Thor 这样的边缘 GPU，其算力要小得多
-
因此，作者在设计 GR00T 2Turbo 时，使世界建模（world-modeling）目标本身更加轻量。GR00T 2 预测的大多数 token 都是未来视频，而视频本身具有高度冗余性
Turbo 保留了用于联合建模视频和动作的 20 亿参数Transformer，但通过更高压缩率的 VAE 对视频进行编码，因此仍然可以同时预测未来观测与动作，只是所需的视觉 token 大幅减少。这同时加快了训练和推理速度在 Unitree G1 机载的Jetson Thor 上，Turbo 的预测时间为 124 ms，在此平台上它为 SONIC 控制器规划全身运动（第3.5 节和 4.6.1 节）
在灵巧操作任务上，Turbo 略逊于 GR00T 2，但在双手与灵巧操作任务上仍显著优于各类基线方法，并在任务性能与推理延迟之间提供了较优的折中（第 3.1 节与图23）具体而言，Turbo 将原有的视频 VAE 替换为 Wan 2.2 VAE（Wan 团队等，2025），将空间压缩率从每个维度 8× 提升到 16×，从而生成在空间维度上缩小 4× 的潜在网格。潜变量的输入投影和输出投影都根据新的 VAE 进行了适配，而动作视野（action horizon）保持不变
第四，在一台新机器人上使用 GR00T 2
要启用一台机器人，实践者需要将其摄像头映射到头部视角和腕部视角，将其动作表示为受支持的动作空间（或新增一个动作空间），并在目标任务的演示数据上对GR00T 2 进行后训练
原论文第 3 节展示了所需的演示数量是多么少，以及如何完全用人类或 UMI 演示来替代远程操作（teleoperation）
1.2 GR00T 2 的能力
// 待更