本文中的用例基于DreamDojo：一个来自大规模人类视频的多面手机器人世界模型。作者在论文中提供了所有结果和参数。
为灵巧的机器人建立世界模型始于可靠的动作数据
机器人世界模型可预测世界如何响应动作而变化，支持诸如遥控操作、政策评估和基于模型的规划等应用。对于灵巧机器人来说，由于有限的机器人数据和稀缺的动作标签，这变得复杂，因为收集机器人轨迹成本高昂，硬件变化限制了场景覆盖范围。
NVIDIA的DreamDojo通过在大约44，000小时的以自我为中心的人类视频上预先训练一个基础世界模型来解决这个问题，使用连续的潜在动作作为统一的代理标签。然后，通过对目标机器人数据的后期训练，将该知识转移到机器人实施例，包括Fourier GR-1人形机器人。
MANUS手套的实验室人体演示
作为人类视频数据的一个组成部分，DreamDojo包括在桌面实验室设置中收集的实验室内数据集，以验证核心建模设计。在这个数据集中，收集者穿着MANUS手套与Vive Ultimate Tracker配合使用，在操作任务中捕捉精确的手部姿势，包括默认GR-1机器人训练数据中没有出现的对象和动词。
来自基于MANUS的设置的手部姿势测量被重定目标到GR-1的动作空间，产生与机器人的自由度规格相匹配的GR-1动作。这种配置提供了高精度、真实动作条件基线，它代表了一种理想的场景，在这种场景中，附加的运动捕捉设备为世界模型提供细粒度的动作标签。
潜在动作和机器人动作标签
DreamDojo的可扩展预训练方法依赖于直接从视频中提取的连续潜在动作，这些动作将连续帧之间的运动编码到紧凑的代理标签中，并能够从大型人类视频数据集进行学习，而无需对每个记录进行运动捕捉。
在实验室消融研究中，作者比较了没有人视频预训练的模型、无动作预训练的模型、有潜在动作条件反射的模型和使用GR-1动作的真实动作条件反射的模型，GR-1动作是通过Vive Ultimate Tracker从MANUS捕获的手部动作重定向的。这种设置建立了MANUS手套作为高精度运动捕捉参考，用于验证潜在动作调节和研究受控实验室演示中的重定向。
评估机器人和下游应用
Fourier GR-1是许多DreamDojo实验的主要目标实施方案，包括实验室评估基准。Unitree G1、AgiBot和YAM上的额外后期训练让DreamDojo模拟了原始机器人训练分布之外的各种接触丰富的任务和反事实动作。
该基础支持下游应用，包括AgiBot水果包装任务的策略评估、基于模型的规划和虚拟G1机器人在蒸馏后的实时实时远程操作。在这些应用中，基于实验室手册的数据集是几个评估配置中的一种，而不是动作数据的唯一来源。