文献：Ψ₀: An Open Foundation Model Towards Universal Humanoid Loco-Manipulation
会议：Robotics: Science and Systems（RSS 2026，机器人科学与系统会议） ；
作者：Songlin Wei, Hongyi Jing, Boqian Li, Zhenyu Zhao, Jiageng Mao, Zhenhao Ni, Sicheng He, Jie Liu, Xiawei Liu, Kaidi Kang, Sheng Zang, Weiduo Yuan, Marco Pavone, Di Huang, Yue Wang 。
机构：USC Physical Superintelligence (PSI) Lab；NVIDIA；WorldEngine 。
关键词：Humanoid Loco-Manipulation（人形机器人移动操作）、Vision-Language-Action（视觉---语言---动作）、Egocentric Video（第一视角视频）、Flow Matching（流匹配）、MM-DiT（多模态扩散 Transformer）、Real-Time Chunking（实时动作分块）、Reinforcement Learning Tracking（强化学习跟踪控制） 。
1. 文献核心结论
Ψ₀ 研究的问题是：如何利用数量充足、获取成本相对较低的人类第一视角视频，帮助人形机器人在较少真实遥操作数据的条件下学习长时序、灵巧、全身协调的移动操作技能。 论文认为，直接把人类视频和不同机器人的控制轨迹混在一起，以统一动作分布训练一个单体策略，会把形态差异、自由度差异和动力学差异同时压给模型，导致数据利用率偏低。
其核心方案不是简单扩大预训练数据量，而是让异构数据承担不同学习目标：先用人类第一视角视频学习视觉---任务语义，再使用真实人形机器人示范学习关节空间动作分布，最后以少量任务内示范快速适配。 系统执行层采用三级结构：System-2 负责视觉语言表征；System-1 负责生成连续动作块；System-0 使用已有强化学习控制器稳定跟踪下肢目标。
关键实验结果是：采用约 829 h EgoDex 和 31 h Humanoid Everyday 数据建立基础能力，每个新任务再用 80 条遥操作轨迹 微调。论文在 Unitree G1 真机上比较 8 项多步骤任务，Ψ₀ 完整任务成功次数合计 57/80（71.25%） ，GR00T N1.6 为 23/80（28.75%） ，相差 42.5 个百分点。这里是按论文公开的每任务 10 次试验汇总计算，不能泛化成所有环境中的成功率。
图 1（原论文 Fig. 1）人形机器人移动操作任务场景。展示 Ψ₀ 在茶水间完成取杯、推车、擦拭、抓取与放置、推动冰箱门等不同动作。来源：Wei et al., Ψ₀, arXiv:2603.12263v1, Fig. 1。原图。
图 1 直观说明了问题的难度：机器人既要移动底座、调整躯干，又要完成持续物体接触、精细手指操作和双臂协同，而不是独立完成一个桌面抓取动作。
2. 研究背景、科学问题与方法定位
2.1 机器人示范稀缺与异构数据差异
大规模 VLA 的常见训练路径是汇集机器人示范、跨平台数据与人类视频。对人形机器人来说，这一路径遇到三个瓶颈：
- 数据成本与覆盖范围。 高质量全身遥操作昂贵；长时序任务不仅包括抓取，还包括行走、转身、下蹲、接触保持和错误恢复。
- Embodiment Gap（本体形态差异）。 人的手指、手腕、腰部运动和机器人关节拓扑并不一致，动作频率和动力学也不同。直接在统一低层动作分布上共训练存在冲突。
- 实时部署。 数十亿参数的 VLA 推理延迟可达到约 160 ms；如果串行执行"观察---思考---动作"，会造成动作块交界处停顿和抖动。
作者的研究问题可以概括为：
Scalable Human Videos + Limited Humanoid Data ⟶ Reliable Long-Horizon Humanoid Loco-Manipulation \text{Scalable Human Videos} + \text{Limited Humanoid Data} \longrightarrow \text{Reliable Long-Horizon Humanoid Loco-Manipulation} Scalable Human Videos+Limited Humanoid Data⟶Reliable Long-Horizon Humanoid Loco-Manipulation
关键不在于把人和机器人的低层动作硬对齐，而在于分离通用感知与任务表征的学习、机器人本体动作分布的学习以及稳定的物理执行。
2.2 与典型人形 VLA 的区别
表 1 Ψ₀ 与典型训练路线的定位比较
| 路线 | 主要训练思路 | 主要动作建模 | 与 Ψ₀ 的区别 |
|---|---|---|---|
| 跨本体联合共训练 | 混合人类、不同机器人数据 | 统一动作或任务空间 | Ψ₀ 把人类感知预训练与人形关节后训练分阶段进行 |
| EgoVLA 一类人类视频方法 | 第一视角视频学习人手/末端先验 | 任务空间动作、再适配机器人 | Ψ₀ 最终由独立专家直接预测人形关节空间动作 |
| π₀.₅ / GR00T 类 VLA | 大规模机器人数据与预训练 | 视觉语言条件下动作块 | Ψ₀ 强调高质量第一视角数据和少量人形示范的组合配方 |
| Ψ₀ | 视频预训练 → 人形后训练 → 任务微调 | 36 维高层全身动作 → 下肢 RL 跟踪 | 以 System-0 保持运动稳定性，而不是把全身底层关节控制全部交给 VLA |
表 1 是技术路线的概括性比较，不表示各基线在论文中使用了完全相同的预训练资源。实际基线适配设置见第 9 节。
3. 系统总体技术路线：三系统分层架构
3.1 感知、动作生成与底层控制
论文的流程可写为：
( I t , q t , ℓ ) ⏟ 观测与语言 → System-2: Qwen3-VL z t → System-1: MM-DiT a t : t + H → System-0: AMO q l o w e r d e s \underbrace{(I_t,q_t,\ell)}{\text{观测与语言}}\xrightarrow{\text{System-2: Qwen3-VL}}z_t\xrightarrow{\text{System-1: MM-DiT}}a{t:t+H}\xrightarrow{\text{System-0: AMO}}q_{\mathrm{lower}}^{\mathrm{des}} 观测与语言 (It,qt,ℓ)System-2: Qwen3-VL ztSystem-1: MM-DiT at:t+HSystem-0: AMO qlowerdes
其中， I t I_t It 是头部相机图像， q t q_t qt 包含本体状态， ℓ \ell ℓ 是自然语言指令， z t z_t zt 是视觉语言特征；MM-DiT 输出动作序列而不是只输出当前一个关节目标。
图 2（原论文 Fig. 2）Ψ₀ 模型训练和部署框架。左侧是基于人类第一视角视频的离散动作 token 预训练，中间是条件流匹配动作专家的后训练，右侧是 RL 下肢跟踪控制与全身动作执行。来源：Wei et al., arXiv:2603.12263v1, Fig. 2。原图。
System-2（视觉语言主干） 使用 Qwen3-VL-2B-Instruct ，主要负责从视觉观测与任务指令提取可迁移语义特征。System-1（动作专家） 为约 500M 参数 的 flow-based MM-DiT，以 VLM 特征、本体状态和带噪动作块为条件，预测未来动作。System-0（控制器） 为已有的 AMO 强化学习跟踪策略，处理下肢动作命令与关节控制之间的映射。
必须区分：Ψ₀ 并不是把 VLM、扩散动作专家、RL 下肢策略三者从头联合强化学习。 论文的主要学习对象是 VLM 的视觉动作表征与动作专家；底层 AMO 作为现成控制模块接入。
3.2 系统的训练对象与冻结策略
论文开头称高层两个模块构成端到端策略，但具体实验配置 是：第一阶段训练 VLM；第二阶段冻结 VLM，仅训练动作专家；第三阶段真实任务微调同样只训练动作专家、保持 VLM 冻结（原论文 §IV-A3 与附录 §VI-C）。因此不能把真实实验误写成"三个阶段始终全参数联合训练"。
4. 观测输入、动作空间与自由度映射
4.1 VLA 观测输入
论文给定：
o t = { I t , q t } , π ( a t : t + H ∣ I t , q t , ℓ ) o_t=\{I_t,q_t\},\qquad \pi(a_{t:t+H}\mid I_t,q_t,\ell) ot={It,qt},π(at:t+H∣It,qt,ℓ)
论文使用 Unitree G1 头部 Intel RealSense D435i 的图像、自然语言任务指令以及本体信息。实现说明明确指出关节状态包括双臂/双手关节位置及躯干相关变量；后训练使用 28 维手臂和手部状态，并填充到 32 维状态容器以兼容下游结构。
表 2 系统输入输出维度（原论文 §III-A、§IV-A、附录 §VI-B）
| 变量 | 维度 | 含义 | 去向 |
|---|---|---|---|
| I t I_t It | RGB 图像 | G1 头部第一视角相机 | VLM |
| ℓ \ell ℓ | 文本 | 目标任务语义 | VLM |
| q t q_t qt | 按训练阶段组织 | 手臂/灵巧手状态、躯干等本体信息 | 动作专家 |
| z t z_t zt | 隐层特征 | VLM 输出的视觉语言语义 | MM-DiT |
| a t : t + H a_{t:t+H} at:t+H | H × 36 H\times36 H×36（约定时间步定义见正文） | 未来连续高层全身动作块 | 动作执行器 |
| q l o w e r q_{\mathrm{lower}} qlower | 15 | 腰部 3 维 + 双腿 12 维关节目标 | 下肢控制 |
| q u p p e r q_{\mathrm{upper}} qupper | 28 | 双臂 14 维 + 双手 14 维 | 上肢执行 |
4.2 36 维动作空间的逐项展开
表 3 Ψ₀ 在真实机器人上的 36 维高层动作
| 动作项 | 维度 | 物理意义 | 控制接口 |
|---|---|---|---|
| q h a n d q_{\mathrm{hand}} qhand | 14 | 双侧 Dex3-1 灵巧手关节目标 | 上肢直接输出 |
| q a r m q_{\mathrm{arm}} qarm | 14 | 双臂关节目标，各 7 维 | 上肢直接输出 |
| t o r s o r p y \mathrm{torso}_{rpy} torsorpy | 3 | 躯干 roll、pitch、yaw 命令 | AMO |
| h b h_b hb | 1 | 机身高度参考 | AMO |
| v x , v y v_x,v_y vx,vy | 2 | 平面平移速度参考 | AMO |
| v y a w v_{yaw} vyaw | 1 | 航向角速度参考 | AMO |
| p y a w p_{yaw} pyaw | 1 | 目标航向角参考 | AMO |
| 总计 | 36 | 28 维上肢关节目标 + 8 维运动命令 | 分层执行 |
用原论文形式表示：
a = { q h a n d , q a r m , t o r s o r p y , h b , v x , v y , v y a w , p y a w } ∈ R 36 . a=\{q_{\mathrm{hand}},q_{\mathrm{arm}},\mathrm{torso}{rpy},h_b,v_x,v_y,v{yaw},p_{yaw}\}\in\mathbb R^{36}. a={qhand,qarm,torsorpy,hb,vx,vy,vyaw,pyaw}∈R36.
注意 p y a w p_{yaw} pyaw 是期望航向角， v y a w v_{yaw} vyaw 是航向角速度；二者并不相同。36 维不是 36 个电机的直接关节角，而是一个混合控制接口。
4.3 从 36 维高层动作到 43 维全身关节动作
a l o w e r ∈ R 8 ⏟ 姿态、高度、平移/转向命令 → A M O q l o w e r ∈ R 15 ⏟ 腰部 3 + 双腿 12 . \underbrace{a_{\mathrm{lower}}\in\mathbb R^8}{\text{姿态、高度、平移/转向命令}}\xrightarrow{\mathrm{AMO}}\underbrace{q{\mathrm{lower}}\in\mathbb R^{15}}_{\text{腰部 3 + 双腿 12}}. 姿态、高度、平移/转向命令 alower∈R8AMO 腰部 3 + 双腿 12 qlower∈R15.
上肢则输出 q u p p e r = ( q a r m , q h a n d ) ∈ R 28 q_{\mathrm{upper}}=(q_{\mathrm{arm}},q_{\mathrm{hand}})\in\mathbb R^{28} qupper=(qarm,qhand)∈R28，因此用于全身执行的目标自由度为：
15 + 28 = 43. 15+28=43. 15+28=43.
这个 43 维 结合了 G1 的躯干、腿部、双臂和两只灵巧手，并非单纯 G1 本体原装 29 维关节数。AMO 的作用是让底层行走稳定性不必完全由 VLA 的高维动作专家自行学习。
5. MM-DiT 动作专家与 Flow Matching 原理
5.1 采用 Flow Matching，而不是自回归逐关节输出
对于真实机器人动作，作者没有继续用 VLM 离散地逐 token 生成几十维关节指令，而是通过连续生成模型一次性预测动作块。设原始真实动作块为 a a a、高斯噪声为 ϵ ∼ N ( 0 , I ) \epsilon\sim\mathcal N(0,I) ϵ∼N(0,I)，流时间步 τ ∈ 0 , 1 \tau\in0,1 τ∈0,1，论文定义的带噪插值为：
a τ = τ a + ( 1 − τ ) ϵ . a^{\tau}=\tau a+(1-\tau)\epsilon. aτ=τa+(1−τ)ϵ.
对应的原论文式 (2) 为：
L f m = E ∥ v ρ f l o w ( z t , a t τ , τ ) − ( ϵ − a t ) ∥ . \mathcal L_{\mathrm{fm}}=\mathbb E\left\\left\\\|v_{\\rho}\^{\\mathrm{flow}}(z_t,a_t\^{\\tau},\\tau)-(\\epsilon-a_t)\\right\\\|\\right. Lfm=E vρflow(zt,atτ,τ)−(ϵ−at) .
v ρ f l o w v_{\rho}^{\mathrm{flow}} vρflow 是动作专家网络预测的速度场； z t = f θ v l m ( o t , ℓ ) z_t=f_{\theta}^{\mathrm{vlm}}(o_t,\ell) zt=fθvlm(ot,ℓ) 是视觉语言条件。注意论文在式 (2) 中使用范数符号，这里忠实保留，没有擅自改写为平方范数。
原文一致性提示： 若严格按照论文定义的插值 a τ = τ a + ( 1 − τ ) ϵ a^\tau=\tau a+(1-\tau)\epsilon aτ=τa+(1−τ)ϵ 对 τ \tau τ 求导，结果是 a − ϵ a-\epsilon a−ϵ，而式 (2) 写成 ϵ − a \epsilon-a ϵ−a；这涉及时间参数方向/目标速度定义的符号约定。仅凭正文无法确定实际实现采用哪一种积分方向，复现时必须进一步核对仓库的目标构造与采样更新，不能直接忽略该符号差异。
τ \tau τ 是连续流匹配噪声时间变量，并不等于固定的"16 个离散步骤"；推理数值积分步数与动作块长度也不能混为一谈。
5.2 MM-DiT 与普通 DiT 的结构差异
图 3（原论文 Fig. 3）用于 VLA 的 MM-DiT 与普通 DiT 动作头的结构比较。MM-DiT 对视觉语言（VL）流和动作（A）流分别施加时间调制，然后在统一 Joint Attention 中融合；普通 DiT 使用动作自注意力及跨注意力注入。来源：Wei et al., arXiv:2603.12263v1, Fig. 3；此在线图源为原论文插图的镜像。论文原文。
传统 DiT 形式可概括为先在动作 token 内进行 Self-Attention，再从 VL 特征执行 Cross-Attention；MM-DiT 将 VL 与 Action 两组 token 作为不同模态流，在同一注意力机制中联合融合：
Q = Q V L ; Q A , K = K V L ; K A , V = V V L ; V A , Attn ( Q , K , V ) = softmax ( Q K ⊤ d ) V . Q=Q_{\\mathrm{VL}};Q_{\\mathrm A},\quad K=K_{\\mathrm{VL}};K_{\\mathrm A},\quad V=V_{\\mathrm{VL}};V_{\\mathrm A},\quad \operatorname{Attn}(Q,K,V)=\operatorname{softmax}\!\left(\frac{QK^\top}{\sqrt d}\right)V. Q=QVL;QA,K=KVL;KA,V=VVL;VA,Attn(Q,K,V)=softmax(d QK⊤)V.
此式是基于论文结构图的通用注意力机理表达 ，不是论文原式。网络还利用 τ \tau τ 对两条模态流分别实施 FiLM（Feature-wise Linear Modulation，逐特征线性调制），让视觉语言特征与带噪动作特征在每层充分交换信息。作者通过动作头消融显示，MM-DiT 优于 naive DiT。
5.3 为什么不是 VLM 直接生成所有动作
VLM 自回归生成连续多步的高维动作 token，推理与训练开销都较大。Ψ₀ 把 VLM 当作可迁移感知语义编码器，将密集的动作生成交给动作专家，从而避免把 30 Hz 控制的每一个动作维度都转成语言模型 token 逐一生成。
6. 三阶段训练：从人类视频到机器人动作
6.1 阶段一：人类第一视角视频预训练 System-2
预训练数据来自 EgoDex（约 829 小时） 。为缓解人类视频和 G1 相机画面的视觉差异，后续还使用 Humanoid Everyday 视频进行补充。附录 §VI-A 具体写明：前 200k 步使用 EgoDex，后 30k 步使用 Humanoid Everyday，共约 230k 步；这与"把两类数据同时随机混合共训练"不是同一回事。
此阶段采用人手与机器人末端的统一任务空间动作表示。每侧手部：
a l , a r = { T w r i s t , P t h u m b , P i n d e x , P m i d d l e , P r i n g , P p i n k y } ∈ R 24 . a_l,a_r=\{T_{\mathrm{wrist}},P_{\mathrm{thumb}},P_{\mathrm{index}},P_{\mathrm{middle}},P_{\mathrm{ring}},P_{\mathrm{pinky}}\}\in\mathbb R^{24}. al,ar={Twrist,Pthumb,Pindex,Pmiddle,Pring,Ppinky}∈R24.
腕部使用 3 维位置 + 6D Rotation（六维旋转表示），共 9 维；五根指尖的三维坐标共 15 维：
9 + 5 × 3 = 24 , 2 × 24 = 48. 9+5\times3=24,\qquad 2\times24=48. 9+5×3=24,2×24=48.
这 48 维是预训练任务空间表示，不是最终部署的 36 维高层控制动作。 6D Rotation 不是 XYZ + Roll/Pitch/Yaw，而是由两个三维向量表征一个旋转矩阵的连续表示方式。
作者使用 FAST（Frequency-space Action Sequence Tokenization） 将连续动作变成离散 token；以 50 万条随机动作样本 训练 tokenizer。VLM 只自回归预测下一步动作，而不预测整条动作块：
p θ ( u 1 : N ∣ I t , ℓ ) = ∏ i = 1 N p θ ( u i ∣ u < i , I t , ℓ ) . p_{\theta}(u_{1:N}\mid I_t,\ell)=\prod_{i=1}^{N}p_{\theta}(u_i\mid u_{<i},I_t,\ell). pθ(u1:N∣It,ℓ)=i=1∏Npθ(ui∣u<i,It,ℓ).
这里 u i u_i ui 是一个动作离散 token；本式是对论文式 (1) 的索引消歧表示。下一步监督足以促使 VLM 学习物体、意图和运动语义，却显著减轻 token 数量与模型优化成本。
6.2 阶段二：Humanoid Everyday 上后训练 System-1
该阶段冻结已经获得语义能力的 VLM，从头训练约 500M 参数的 MM-DiT 动作专家。输入是机器人视觉语言特征、本体状态与带噪关节空间动作；监督目标是连续动作块对应的流匹配速度场。
Humanoid Everyday 包含 31 小时、约 300 万帧、260 项任务、7 个类别 ，涵盖不同人形与灵巧手配置。不同灵巧手的关节次序经重排对齐；在实际后训练中，数据集主体具有 28 维双臂/双手动作，缺少的下肢动作项通过 padding 填充到统一 36 维动作 、32 维状态容器。这种 padding 是接口兼容措施，不能理解成数据集中每一帧都包含真实测量到的 8 维下肢监督。
6.3 阶段三：新任务少量示范微调
每个新任务使用 80 条真实遥操作轨迹 ，根据其物理任务环境微调动作专家。原论文实验实现是冻结 VLM、微调动作专家 40,000 步。该阶段借助已有的任务语义先验和关节动作先验，减少从零学习的难度。
表 4 论文报告的训练阶段与主要设置
| 阶段 | 数据/目标 | 主要训练参数 | 计算资源及训练时间 | VLM 状态 |
|---|---|---|---|---|
| 预训练 | EgoDex；后续 HE 补充，预测下一步 48 维任务空间动作 token | 约 230k 步，全局 batch 1024 | 64×A100，约 10 天 | 训练 |
| 后训练 | HE；流匹配训练 36 维接口的动作专家 | 30k 步，batch 2048，LR 10 − 4 10^{-4} 10−4 | 32×A100，约 30 小时 | 冻结 |
| 任务微调 | 每任务 80 条真机轨迹；36 维动作块 | 40k 步，batch 128，余弦 LR（初值 10 − 4 10^{-4} 10−4） | 依任务设置 | 冻结 |
附录的 FAST tokenizer 消融表使用 重建 L1 损失 5.83 × 10 − 4 → 1.95 × 10 − 4 5.83\times10^{-4}\rightarrow1.95\times10^{-4} 5.83×10−4→1.95×10−4，平均 token 数 2.08 → 13.04 2.08\rightarrow13.04 2.08→13.04 ；正文另给出了约 0.005 0.005 0.005 的损失与约 20 20 20 tokens 的概括。二者数值口径不完全一致，不能当作同一统计指标直接互换；为便于复现，表 4 和上述表述保留了明确章节来源。
7. RTC：解决 VLA 推理延迟导致的动作抖动
7.1 为什么简单 Action Chunking 还不够
模型规模超过 2.5B 参数 ，单次前向约 160 ms。如果动作预测后再等待网络响应，机器人会形成周期性停顿；如果提前异步生成下一块动作，两块之间又可能出现关节目标不连续。
图 4（原论文 Fig. 4）RTC 对动作块连接处关节角轨迹的影响。旧动作块（橙色）、无 RTC 的新动作块（青色）和使用 RTC 的新动作块（粉色）对比，说明 RTC 有助于抑制切换不连续。来源：Wei et al., arXiv:2603.12263v1, Fig. 4；使用原图镜像。
这里必须区分三种执行方式：串行 Stop-Think-Execute 会停顿；普通异步 chunking 能减少停顿，但两个独立预测的动作块可能跳变；Training-time RTC 则通过训练阶段的动作补全监督提高前后块兼容性。
7.2 Training-time RTC：条件动作补全
训练时随机选择一个动作前缀长度 d d d，将前 d d d 个 token 作为不再添加噪声的已承诺动作，排除出 flow-matching 损失；对其余 token 施加噪声并训练后续轨迹生成：
d ∼ Uniform { 0 , ... , d max } , d max = 6. d\sim\operatorname{Uniform}\{0,\ldots,d_{\max}\},\qquad d_{\max}=6. d∼Uniform{0,...,dmax},dmax=6.
用掩码表示的损失可写为：
L R T C = E ∑ i = d + 1 H m i ∥ v ρ ( z t , a τ , τ ) i − u i ⋆ ∥ , \mathcal L_{\mathrm{RTC}}=\mathbb E\!\left\\sum_{i=d+1}\^{H}m_i\\left\\\|v_\\rho(z_t,a\^\\tau,\\tau)_i-u_i\^\\star\\right\\\|\\right, LRTC=Ei=d+1∑Hmi∥vρ(zt,aτ,τ)i−ui⋆∥,
其中 u i ⋆ u_i^\star ui⋆ 表示与论文式 (2) 方向定义一致的目标速度；该式是对原文掩码训练机制的说明性形式，不是论文新编号公式。推理时将先前承诺、尚待执行的动作作为固定前缀，后续轨迹作为条件补全，从而降低切块处冲击。
7.3 为什么不使用 Test-time RTC
论文尝试过在推理时用梯度引导调整 flow matching 速度场，但发现对其模型的引导不稳定 ，因此最终选择 training-time RTC。实验表明 RTC 可提高动作连续性、减轻部分碰撞和切换问题，但不意味着在任意任务上都会提高总成功率；主消融表中无 RTC 与有 RTC 的完整任务成功率均为 9/10。
8. 单人遥操作与真实示范采集
8.1 为什么要分离上半身与行走命令
若把操作者完整身体姿态一比一重定向到人形机器人，感知噪声和足端漂移会在下肢放大；若操作者只使用双手柄，灵巧手的多个手指动作又难以独立控制。Ψ₀ 的硬件采集框架因此采取三路明确分工：
- 上肢位姿：PICO 头显 + 双手腕追踪器提供头和腕的目标位姿，通过 **Multi-target Inverse Kinematics（多目标逆运动学）**求解躯干与机械臂关节；
- 灵巧手操作：MANUS 手套跟踪手指动作，再进行灵巧手 Retargeting（运动重定向）；
- 下肢行走 ：腰部与脚部追踪器产生 ( v x , v y , v y a w , p y a w ) (v_x,v_y,v_{yaw},p_{yaw}) (vx,vy,vyaw,pyaw) 等高层命令，再交给 RL 下肢策略稳定执行。
图 5（原论文 Fig. 5）单人真实机器人遥操作设备。使用 PICO VR 头显、MANUS 灵巧手手套、手腕/腰部/足部追踪器，将上肢操作与行走命令分离。来源：Wei et al., arXiv:2603.12263v1, Fig. 5。原图。
其优势是用明确控制接口约束底层稳定性，用多目标 IK 和灵巧手重定向保留操作精度。这种遥操作架构与后续 VLA 36 维动作接口天然匹配，也降低了高质量长时序数据的采集难度。
9. 真机实验：平台、任务与基线
9.1 硬件与评价协议
真实平台为 Unitree G1 + 两只 7-DoF Dex3-1 灵巧手 + 头部 Intel RealSense D435i；原 G1 控制关节与双手组合构成上文所述的 43 维关节目标空间。
论文设置 8 个长时序真实任务 ，每任务包含 3--5 个子任务 ，多数任务动作序列超过 2000 步 @30 Hz （即约 67 秒以上）。对每种方法、每项任务分别进行 10 次试验 。作者允许在中间子任务失败时人为辅助继续后续执行，以统计子任务能力，但完整任务只有所有子任务全部完成才算成功。因此子任务统计不能当作无干预的端到端成功率。
图 6（原论文 Fig. 6）真实机器人八项长时序评测任务。任务 1---8 依次涉及开盖/水龙头、喷洒擦拭、取瓶转身倒水、倒料推车、推车取葡萄、玩具入篮并递交、抱袋下蹲放置以及抽托盘后丢弃罐体。来源：Wei et al., arXiv:2603.12263v1, Fig. 6。原图。
9.2 与各类开源基线对比
基线包括：π₀.₅、GR00T N1.6、InternVLA-M1、H-RDT、EgoVLA、Diffusion Policy 和 ACT。作者把各模型适配到相同下游动作/状态和相机输入，再对每任务使用相同的 80 条演示训练，但不同方法的预训练规模和架构并不相同。尤其 π₀.₅ 原发布的动作维度不足，论文将动作头扩展到 36 维；GR00T 的 RTC 代码未完全开放，主实验采用标准顺序推理，属于解释对比公平性时应保留的限定。
表 5 八项真实任务的完整成功次数（原论文 Fig. 7 与项目主页评测表）
| 任务 | Ψ₀ | GR00T N1.6 | π₀.₅ | 主要技能 |
|---|---|---|---|---|
| T1 开盖、开水龙头、灌水 | 6/10 | 2/10 | 2/10 | 灵巧手指与双臂协作 |
| T2 喷水、擦碗、收布 | 7/10 | 4/10 | 3/10 | 接触操作与擦拭 |
| T3 取瓶、转身、倒水 | 8/10 | 4/10 | 2/10 | 转身与倾倒 |
| T4 取罐、倒料、推车 | 7/10 | 3/10 | 1/10 | 操作与移动组合 |
| T5 推车、取葡萄、摆盘 | 6/10 | 4/10 | 3/10 | 行走推车与抓取 |
| T6 玩具入篮、转身递交 | 9/10 | 0/10 | 5/10 | 携物转身与交接 |
| T7 抱袋、下蹲、放矮桌 | 9/10 | 5/10 | 2/10 | 双臂携物与下蹲 |
| T8 拉托盘、转身丢罐 | 5/10 | 1/10 | 1/10 | 精细拉取与行走 |
| 合计 | 57/80 | 23/80 | 19/80 | 统计为完整任务成功次数 |
其中 T5、T6 的编号严格以原论文 Fig. 6 内的标签为准；项目主页个别表格按描述顺序排列时与原图标签次序不同，本表按任务文字而非行号匹配结果，防止将两项数据对调。
图 7（原论文 Fig. 7）真机基准结果。左为八项完整任务成功率，右为按抓取、放置、倒水、转身、下蹲、行走等技能聚合的能力雷达图。来源：Wei et al., arXiv:2603.12263v1, Fig. 7；使用原图镜像。
9.3 怎样解读"优于基线 40%"
在公开的八任务、每任务十次的试验口径下，按表 5 汇总：
S R Ψ 0 = 57 80 = 71.25 % , S R G R 00 T = 23 80 = 28.75 % . \mathrm{SR}{\Psi_0}=\frac{57}{80}=71.25\%,\qquad \mathrm{SR}{\mathrm{GR00T}}=\frac{23}{80}=28.75\%. SRΨ0=8057=71.25%,SRGR00T=8023=28.75%.
二者差距为 42.5 个百分点（percentage points）。这比模糊表述"高 40%"更精确。结论局限于论文报告的这些任务、示范规模和基线复现设置，不代表通用未见任务零样本成功率。另需注意图 7 中的颜色图例和任务编号不应与图 6 交叉误读。
10. 附录技术细节：RTC 训练与异步执行
10.1 前缀固定与剩余动作块生成
图 8（原论文 Fig. 8）Training-Time RTC 训练示意。前 d d d 个动作 token 为固定干净前缀（ τ = 1 \tau=1 τ=1，不计算损失），其余动作 token 参与流匹配损失。来源：Wei et al., arXiv:2603.12263v1, Fig. 8；使用原图镜像。
图 8 的关键不是"简单重复上一块输出"，而是把已承诺动作作为条件 ，令下一块的后续时间点根据这一固定前缀生成。 d max = 6 d_{\max}=6 dmax=6 是训练时随机前缀的最大步数，不是整个动作块只含 6 个时间点。
10.2 Client--Server 运动控制系统
图 9（原论文 Fig. 9）实时动作分块部署系统。机器人客户端负责传感、动作接收和执行；服务器端以 30 Hz 控制循环组织共享观测与动作缓存，推理循环异步生成新动作块。来源：Wei et al., arXiv:2603.12263v1, Fig. 9。原图。
按原文的部署细节，服务器控制循环为 30 Hz，机器人客户端的动作执行/低层跟踪循环为约 60 Hz；模型推理线程另行异步运行，低频更新共享动作缓存。三者概念不同：
- 30 Hz： 服务器动作调度和推理触发所依赖的主控制周期；
- 约 60 Hz： 客户端读取并执行缓存关节参考的低层执行周期；
- 约 160 ms： 文中报告的一次 VLA 前向推理量级，不是低层 60 Hz 关节跟踪周期。
异步机制避免推理线程阻塞关节执行线程，但依然需要处理观测延迟、动作块接缝、缓存过期、异常状态和通信中断。后四类是实际部署时值得补充的工程风险；论文没有给出适用于所有故障条件的形式化安全保证。
11. 附录技术细节：全身遥操作控制链路
图 10（原论文 Fig. 10）单人遥操作系统数据流。手指位置通过 Retargeting 映射到手部关节；头部与双手腕位姿通过 Multi-Target IK 计算双臂和躯干目标；腰部速度和脚部航向经滤波后交给 RL 行走策略生成下肢目标。来源：Wei et al., arXiv:2603.12263v1, Fig. 10。原图。
11.1 Multi-target IK 与上肢求解
多目标 IK 是同时满足头部、左右腕部等多个任务目标的运动学优化。典型的任务形式可写为：
min q ∑ i ∥ Log ( T i d e s ( T i ( q ) ) − 1 ) ∥ W i 2 + λ ∥ q − q r e f ∥ 2 . \min_q\;\sum_i\left\|\operatorname{Log}\!\left(T_i^{\mathrm{des}}(T_i(q))^{-1}\right)\right\|{W_i}^2+\lambda\left\|q-q{\mathrm{ref}}\right\|^2. qmini∑ Log(Tides(Ti(q))−1) Wi2+λ∥q−qref∥2.
该式为常见的多目标 IK 原理示意，不是 Ψ₀ 论文逐项公开的求解器目标函数。 原文确认使用 multi-target IK，但未在正文中完整指定此处的权重矩阵、数值求解器、碰撞项或零空间参数，因此不能称其必然采用某一特定的 QP、SLSQP 或阻尼最小二乘配置。
11.2 灵巧手重定向与行走分离
手套产生的人手三维指尖信息需要转换到 Dex3-1 可实现的手指关节配置；机器人不是直接复刻人手的 21 个手指关节。下肢也不逐关节跟踪操作者所有腿部动作，而使用速度和方向命令，由 AMO 跟踪稳定的机身运动。由此形成任务侧灵活、执行侧受结构约束的控制路径。
12. 消融实验：哪些模块真正有效
12.1 分阶段数据与动作架构的消融
论文在右手放玩具、左手放玩具、双手抬盒的三阶段长时序任务上进行主消融。
表 6 核心模块消融（原论文 Table I；成功率为 10 次中的完整成功次数）
| VLM/数据设置 | 关节动作专家设置 | RTC | 右手放置 | 左手放置 | 双手抬盒 | 完整成功 |
|---|---|---|---|---|---|---|
| 未做动作预训练；Naive DiT | 仅任务内训练 | 否 | 1/10 | 1/10 | 1/10 | 0/10 |
| 未做动作预训练；MM-DiT | 仅任务内训练 | 否 | 9/10 | 2/10 | 3/10 | 2/10 |
| EgoDex 预训练 | MM-DiT 任务内训练 | 否 | 8/10 | 6/10 | 6/10 | 6/10 |
| EgoDex + HE 预训练 | MM-DiT 任务内训练 | 否 | 8/10 | 8/10 | 9/10 | 8/10 |
| 上述预训练 + HE 后训练 | MM-DiT 任务内训练 | 否 | 9/10 | 9/10 | 10/10 | 9/10 |
| 完整 Ψ₀ | MM-DiT 任务内训练 | 是 | 9/10 | 9/10 | 9/10 | 9/10 |
这组实验区分了三件事情：模型架构 （MM-DiT 明显优于 naive DiT）、数据表征预训练 （EgoDex 提升明显）和机器人本体后训练（从 8/10 提升到 9/10）。RTC 的主作用是改善连续性与执行品质，不能从表 6 直接得出"RTC 使最终成功率提高"。
12.2 预训练数据量与来源
表 7 两类数据消融（原论文 Tables V、VI）
| 对照设置 | 实验 1 完整成功 | 实验 2 完整成功 | 解释 |
|---|---|---|---|
| 完整 Ψ₀ | 8/10 | 7/10 | 参考模型 |
| 仅使用 10% EgoDex 预训练 | 1/10 | 6/10 | 部分任务明显退化 |
| 仅使用 HE 进行预训练 | 4/10 | 4/10 | 精细操作相关任务不足 |
这里揭示的不是"人类视频已经解决了机器人运动控制"，而是规模足够、视角匹配、行为丰富的人类数据有助于建立可迁移的感知和任务先验，然后仍需机器人专有示范来学习关节级动力学和动作分布。
12.3 Multi-task Fine-Tuning 的负面结果
图 11（原论文 Fig. 11）Multi-Task Fine-Tuning。将多个下游任务联合微调与分别微调进行比较，联合微调导致单项任务成功率下降；论文标注的三项下降幅度分别为 70、10、20 个百分点（图中写作 −70%、−10%、−20%）。来源：Wei et al., arXiv:2603.12263v1, Fig. 11；ResearchGate 原图镜像页｜arXiv 原文对应附录。注：ResearchGate 可能限制直接图片加载，若图像不显示请点击原图镜像页或论文 PDF 的 Fig. 11。
这是一项非常重要的负面证据。 虽然 Ψ₀ 拥有通用基础模型，但论文当前的效果仍主要依赖单任务适配；多个任务直接合并微调会使部分技能明显退化。作者将其暂时归因于训练目标分散、导致欠拟合，尚不能将这一猜想当成已证明的唯一原因。
12.4 结论中不要忽略的消融限定
作者还报告把 RTC 加到 GR00T N1.6 后，其单一消融任务总成功率从 7/10 变为 6/10（原论文 Table IV）；可见 RTC 不是普遍提升任务成功率的万能组件。所有实验中的高性能都与给定任务、数据质量、微调策略和硬件配置有关。
13. 论文的主要创新点与学术贡献
13.1 将"人类视频学习语义"与"机器人数据学习关节控制"解耦
这是全文最关键的思想贡献。以人类视频监督 VLM 形成与操作相关的视觉动作先验，而把真实人形机器人关节分布交给独立动作专家去学习。两阶段采用不同动作表示：48 维任务空间预训练表示 与36 维高层关节/运动命令，有效减少跨形态混合建模的矛盾。
13.2 用 MM-DiT 解决视觉语言与高维动作块的深层融合
论文将视觉语言特征与动作 token 的联合注意力和分支时间调制引入人形 VLA，避免仅在少数跨注意力位置注入语义条件。对多自由度长动作序列而言，这比普通 DiT 的动作条件方式更有效；消融实验对此提供支持。
13.3 采用分层动作接口连接 VLA 与已有 RL 行走控制
高层输出28 维双臂/双手关节目标 + 8 维躯干/行走命令 ，底层 AMO 将后者转换为15 维下肢关节目标。它不是纯端到端所有关节直接生成，而是把高层语义规划能力与具有稳定性先验的运动控制器连接起来。
13.4 Training-time RTC 缓解大模型推理延迟的控制缺口
将动作序列前缀条件化加入训练，使系统能在新动作块生成期间持续执行旧动作块，降低关节轨迹跳变。论文同时给出了 30 Hz 控制环、约 60 Hz 执行环以及异步推理的工程实现路径。
13.5 构建可采集高质量全身操作数据的单人遥操作系统
通过 VR 追踪、多目标 IK、MANUS 手套和 RL 行走策略，实现手、臂、躯干及底盘命令的分工。数据采集管线与模型动作接口的共同设计，是数据利用率提高的重要组成部分。
13.6 真机长时序基准和对比消融提供了可复核证据
使用 8 项、每项 10 次真实世界任务，并明确保留 80 条示范/任务、任务内微调、基线适配等实验前提。这一成果的研究价值在于以较少的真实人形示范，在特定复杂任务集合上取得更强表现，而不是证明所有未知场景中的通用零样本能力。
14. 方法的局限与尚未解决的问题
- 零样本通用性尚未由这些实验直接证明。 真机测试针对每个任务使用 80 条示范做了微调，"foundation model"不意味着完全无数据直接泛化至任意任务。
- 多任务联合微调尚不稳定。 Fig. 11 已显示多个任务联合训练可能造成负迁移或欠拟合。
- 没有端到端学习底层行走稳定性。 AMO 是预先训练的控制器，模型性能依赖其工作范围、跟踪能力和控制接口设计。
- 高度依赖单一头部 RGB 视角和可用的示范质量。 自遮挡、物体接触、光照、相机视角变化均可能限制动作生成；论文未声称解决所有视觉失效场景。
- 推理延迟仍需系统级补偿。 RTC 改善块连接而非消除网络推理本身的耗时；通信、控制饱和和安全监控仍属必要工程工作。
- 未提供统一的接触安全或碰撞无条件保证。 与具有形式化约束的 MPC/WBC 不同，文中主要通过模仿、动作连续性和底层 RL 控制得到实验稳定性。
- 计算成本高。 VLM 预训练采用 64×A100 约 10 天，因而其"数据效率"不等价于"任何实验室都能低成本从零训练"。
- 原文局部口径需逐项核对。 VLM 冻结策略以实现细节为准；FAST token 和损失统计在不同段落有口径差异；Flow Matching 式 (2) 的符号需与开源代码核验。
15. 参考资料及复现入口
- Wei, S., Jing, H., Li, B., et al. Ψ₀: An Open Foundation Model Towards Universal Humanoid Loco-Manipulation . Robotics: Science and Systems (RSS) , 2026. arXiv:2603.12263；arXiv HTML v1。
- USC PSI Lab. Ψ₀ project page . https://psi-lab.ai/Psi0/。项目页确认会议录用状态、公开数据构成和真机结果。
- Physical Superintelligence Lab. Psi0 open-source repository . https://github.com/physical-superintelligence-lab/Psi0。含训练、推理、真实机器人部署与基线适配流程；仓库后续新增 SONIC/SIMPLE 等内容，不应全部等同于 2026 年 3 月论文原始实验。
- SIMPLE: Simulation-Based Policy Learning and Evaluation for Humanoid Loco-manipulation . 项目。作为 Ψ₀ 仓库后来支持的仿真评估系统单独参照。