UniWAM：让“理解、预见、行动“在同一个 Transformer 里

项目	信息
论文标题	UniWAM: Unified World-Action Model
作者团队	UniWAM Team（Project Lead: Wenxuan Song；Project PI: Shunbo Zhou）
机构	香港科技大学（广州）、欧拉万象 OLA Dimensions、CMU、北大、上交、BAAI
arXiv	2610.02054（v4，2026-10-14，cs.RO）
代码	https://github.com/UniWAM/UniWAM
权重	HuggingFace ｜ ModelScope
项目主页	https://uniwam.github.io
一句话	用 MoT 把 VLM（Qwen3-VL-2B）、视频生成模型（Wan2.2-TI2V-5B）和动作专家缝进一条联合注意力通路，靠"物理语言"监督打通人类与机器人数据，并给出人机联合训练的 log-linear scaling law。

1. 研究背景

当下具身策略主要有两条路线。

VLA（Vision-Language-Action） ：继承 VLM 大规模预训练来的语义理解与推理能力，但监督信号只有动作，缺乏对世界动态（World Dynamics）的理解（仅靠动作监督）。
WAM（World-Action Model）：站在视频生成模型（VGM）的肩膀上，靠预测下一帧获得强时空先验，动力学理解好，但在分布外（OOD）场景下的语义理解和复杂任务推理能力有限。

论文提出的问题很直接：

How can we combine the strong reasoning and generalization capabilities of VLMs with the strong dynamics understanding of WAMs, thereby building a truly generalist robot?

答案是一个 Mixture-of-Transformers（MoT） 结构，三个专家各管一件事，通过联合多模态注意力（joint attention）交换信息：

Physical Reasoner（物理推理器） ：基于 Qwen3-VL-2B-Instruct，输入当前观测 o t o_t ot 与指令 I I I，产出语义 token 并保留语言头做自回归生成；
World Generator（世界生成器） ：基于 Wan2.2-TI2V-5B，在冻结的视频自编码器潜空间里预测未来的视觉流（当前观测的 latent 保持干净，不加噪）；
Action Predictor（动作预测器） ：嵌入带位置信息的动作 chunk 与当前本体状态 token s t s_t st，输出连续动作的流场。

图 1｜UniWAM 在统一架构里融合物理推理、视觉生成与动作预测，预训练同时使用机器人数据、人类第一视角数据与 VQA 数据；下游表现为强鲁棒性、泛化、指令跟随与长程执行。

1.1 统一预训练的三个难点

适配具身任务与保留语言能力的冲突 。要学具身知识就得更新参数，但更新会破坏预训练分布。作者的做法是把低层动作写成自然语言（沿用 LAP 的思路），让动作监督落在 VLM 熟悉的输入-输出分布上。
异构数据（Heterogeneous Data）导致的优化冲突，设计三源预训练方案（Three-source pre-training scheme），并为不同专家分配互补的监督信号。
异构数据质量参差不齐。开发严格的数据清洗管道（Data cleaning pipeline）。特别是针对人类数据（通常包含多个连续动作），设计了自动化管道进行分割和标注。

后训练阶段再加两个设计：未来帧噪声增强 （防止动作专家过度依赖"几乎干净"的未来视觉 latent）与历史条件流匹配（用执行过的动作历史而非高斯噪声初始化 flow），二者共同把去噪步数压到 2--4 步而性能不掉。

1.2 四点贡献

预训练：构建"人类 + 机器人遥操作 + VQA"三源方案，并做数据源级消融；
后训练：把动作历史与扰动的未来视觉 latent 显式写进联合 flow matching；
评测：在 in-distribution、鲁棒性、泛化、指令跟随、长程执行多个维度都拿到 SOTA；
规律：揭示人机联合训练的 log-linear scaling law。

2. 数据

2.1 数据来源

Table 1 清晰地展示了 UniWAM 预训练数据的宏观构成，最显著的特点是人类数据与机器人数据的规模高度均衡：

机器人数据 (Robot): 总计约 4,958 小时。涵盖了单臂 (Single-arm)、双臂 (Dual-arm) 以及移动双臂 (Dual-arm/Mobile) 多种具身形态 (Embodiment)。

人类自我中心数据 (Human): 总计约 5,072 小时，略高于机器人数据。强调使用子任务级别 (subtask-level) 的标注，对于 EgoDex，作者开发了基于 VLM 的自动标注管道，将长视频分割为原子操作子任务，并为每个子任务生成简洁描述

VQA 数据（Table 2） ，共 8.293 M 条 QA 对，按能力分组：空间理解、视觉定位、通用推理、视频时序、具身交互、规划。

2.2 机器人数据清洗

不同平台、不同采集管线带来的数据模式差别很大，作者统一从时序与统计可靠性、几何一致性、视觉有效性三面筛：

突变点筛查 ：先对中位数滤波 + Savitzky--Golay 平滑得到参考轨迹，残差超阈值且加速度或加加速度（jerk）也超阈值才判为异常。双重条件既压掉孤立非物理尖峰，又不会误伤真实的缓慢运动变化。
状态-动作时序一致性：对 state 与 action 共有的维度做平滑，用互相关估计相对时延，补偿后再用一阶差分算方向一致性，低于数据集阈值整条丢弃；增量动作先积分成绝对轨迹再比。
分布异常值：使用鲁棒的逐维统计量（1%和99%分位数）去除罕见的数值异常值
几何感知检查：关节角-末端位姿做前向运动学一致性校验，用来抓关节角约定、TCP 定义、旋转表示、基坐标系假设造成的错位；元数据不全则跳过。坐标系统一为 "+x 指向机器人正前方"，语义不明的数据集保持原样。
视觉有效性 ：剔除黑图、损坏、严重模糊与长时间静止帧；静止段要结合视觉/状态/动作三路信号判定，夹爪闭合这类交互关键帧即使视觉变化小也要保留。

2.3 EgoANT：把长视频切成"原子操作 + 子任务描述"

人类数据的原始形态是长、未切分 的第一视角视频，一个 episode 里塞了几十个动作。EgoANT 把它变成 { ( t i s , t i e , y i ) } i = 1 N \{(t_i^s, t_i^e, y_i)\}_{i=1}^N {(tis,tie,yi)}i=1N，其中 $t i s , t i e$ $t_i\^s, t_i\^e$ $tis,tie$ 表示原子操作事件的时间范围， ( y i ) (y_i) (yi) 描述完成的动作分两阶段：

粗到细时间切分 ：每 0.5 s 采一帧，拼成最多 20 帧的带时间戳 contact sheet ；VLM 单次通读整集，配合 Macrodata Labs 发布的"完成事件"规则（只算 pick / place / open / pour 这类真正改变物体状态的事件，接近、微调、撤手不算子任务），得到粗边界；再在粗边界附近构造局部窗口做第二次精修，允许把一个欠分割的粗提案拆成多个原子子任务。
段级语义标注 ：多候选生成（原始帧标注、FFmpeg 解码与另一种采样路径、以 seed/prior 描述为条件的重标），最后由纯文本的语言模型选择器挑选，不看视频、只按"动作-对象-终点/结果状态"的具体度打分。
运动标准化 ：把左右腕位姿 3D 位置 + 四元数统一到条件时刻的头戴相机坐标系 并在采样序列内固定参考系，拼成 14 维人类运动表示，与机器人状态维度天然对齐。

2.4 Physical Language：人机共享的动作语言模板（附录 D）

在每个时间步，对滑动动作窗口内的净变化 做结构化描述：绝对位姿先转成逐步变化量；平移以厘米取整，旋转以度取整并四舍五入到 10°；

- x / − x +x/-x +x/−x → "move forward/back"， + z / − z +z/-z +z/−z → "move up/down"， + y / − y +y/-y +y/−y → "move left/right"；
旋转分别为 roll（tilt left/right）、pitch（tilt back/forward）、yaw（rotate counterclockwise/clockwise）；
夹爪按窗口末值 ≥ 0.5 \ge 0.5 ≥0.5 说 "open gripper" 否则 "close gripper"；双臂加 "Left arm:" / "Right arm:" 前缀。

单臂示例：move forward 3 cm, move left 2 cm, tilt left 10 degrees, rotate counterclockwise 20 degrees, open gripper.

双臂示例：Left arm: move up 4 cm, close gripper. Right arm: move back 2 cm, open gripper.

这套模板是整个工作的枢纽设计：人类手和机器人末端在几何上毫无共同点，但"向前移动 3 cm 并闭爪"这句话对两者都成立------于是人类数据第一次可以和机器人数据共用同一个监督目标。

3. 模型策略

图 2｜三个专家由联合多模态注意力互联；机器人与人类数据同时监督三者，物理推理由物理语言 + VQA/EQA 监督。

3.1 架构与跨模态交互

给定当前观测 o t o_t ot、本体状态 s t s_t st、指令 I I I，模型学的是语言、未来观测与动作的联合分布：

p θ ⁣ ( y , o t + 1 : t + h , a t + 1 : t + h | o t , s t , I ) (1) p_\theta\!\left(y,\,o_{t+1:t+h},\,a_{t+1:t+h}\ \middle|\ o_t,\,s_t,\,I\right) \tag{1} pθ(y,ot+1:t+h,at+1:t+h ∣ ot,st,I)(1)

记模态 m ∈ { u , v , a } m\in\{u,v,a\} m∈{u,v,a}（understanding / video / action）在第 ℓ \ell ℓ 层的 token 为 X m ℓ X_m^\ell Xmℓ。各专家先做自己的归一化 （视频与动作还带 timestep modulation），再投影到共同注意力空间：

Q m = X ~ m ℓ W m Q , K m = X ~ m ℓ W m K , V m = X ~ m ℓ W m V (2) Q_m=\widetilde{X}_m^\ell W_m^Q,\qquad K_m=\widetilde{X}_m^\ell W_m^K,\qquad V_m=\widetilde{X}_m^\ell W_m^V \tag{2} Qm=X mℓWmQ,Km=X mℓWmK,Vm=X mℓWmV(2)

O = softmax ⁡ ⁣ ( Q K ⊤ d + M ) V , Q = $Q v ; Q a ; Q u$ (3) O=\operatorname{softmax}\!\left(\frac{QK^\top}{\sqrt d}+M\right)V,\qquad Q= $Q_v;Q_a;Q_u$ \tag{3} O=softmax(d QK⊤+M)V,Q= $Qv;Qa;Qu$ (3)

K , V K,V K,V 同序拼接， M M M 是注意力掩码。输出再按模态拆开，回到各自的投影、残差与 FFN。每层都重复这件事------动作 token 因此一路同时吸收语义上下文与演化中的视觉预测，又不放弃模态自己的处理方式。

3.2 预训练：数据与监督的"分工表"

物理语言监督沿用 LAP，把末端运动编码成自然语言，损失只在答案 token 上的自回归交叉熵：

L l a n g = − ∑ j = 1 T log ⁡ p θ ⁣ ( y j ∣ o t , I , y < j ) (4) \mathcal{L}{\mathrm{lang}}=-\sum{j=1}^{T}\log p_\theta\!\left(y_j\mid o_t, I, y_{<j}\right) \tag{4} Llang=−j=1∑Tlogpθ(yj∣ot,I,y<j)(4)

视觉与动作两个速度场用 flow matching 监督，目标是"干净样本减源样本"：

L v = E ⁣ $∥ u \^ θ v − ( Z t 1 − Z t 0 ) ∥ 2 2$ , L a c t = E ⁣ $∥ u \^ θ a − ( A t 1 − A t 0 ) ∥ 2 2$ (5) \mathcal{L}{v}=\mathbb{E}\!\left $\\\|\\hat u\^v_\\theta-(Z_t\^1-Z_t\^0)\\\|\^2_2\\right$ ,\qquad \mathcal{L}{\mathrm{act}}=\mathbb{E}\!\left $\\\|\\hat u\^a_\\theta-(A_t\^1-A_t\^0)\\\|\^2_2\\right$ \tag{5} Lv=E $∥u\^θv−(Zt1−Zt0)∥22$ ,Lact=E $∥u\^θa−(At1−At0)∥22$ (5)

其中 A t 0 = a t + 1 : t + h A_t^0=a_{t+1:t+h} At0=at+1:t+h 是目标动作 chunk， Z t 0 Z_t^0 Zt0 是冻结视频自编码器给出的未来视觉 latent；视觉损失只覆盖未来帧，条件观测 o t o_t ot 不参与 。 τ a , τ v \tau_a,\tau_v τa,τv 独立采样，插值 A t τ a = ( 1 − τ a ) A t 0 + τ a A t 1 A_t^{\tau_a}=(1-\tau_a)A_t^0+\tau_a A_t^1 Atτa=(1−τa)At0+τaAt1， Z t τ v = ( 1 − τ v ) Z t 0 + τ v Z t 1 Z_t^{\tau_v}=(1-\tau_v)Z_t^0+\tau_v Z_t^1 Ztτv=(1−τv)Zt0+τvZt1；预训练阶段两个源都是高斯噪声，生成从 t = 1 t=1 t=1 走到 t = 0 t=0 t=0。总目标：

L = w a L a c t + w v L v + L l a n g (6) \mathcal{L}=w_a\mathcal{L}_{\mathrm{act}}+w_v\mathcal{L}v+\mathcal{L}{\mathrm{lang}} \tag{6} L=waLact+wvLv+Llang(6)

监督分配：

数据源	Physical Reasoner	World Generator	Action Predictor	理由
VQA	✅	✗	✗	维持预训练语义知识
人类第一视角	✅	✅	✗	榨取人类视频里的物理知识，同时避开低精度动作标签
机器人遥操作	✅	✅	✅	物理一致性最高、动作标注最准

预训练目标权重取 L v i d e o : L a c t i o n : L l a n g u a g e = 1 : 1 : 0.1 \mathcal{L}{\mathrm{video}}:\mathcal{L}{\mathrm{action}}:\mathcal{L}_{\mathrm{language}} = 1:1:0.1 Lvideo:Laction:Llanguage=1:1:0.1，语言损失刻意压小，只起"锚住语言能力"的作用。

3.3 后训练

(a) 未来帧噪声增强。 联合注意力有个副作用：动作专家会去抄"几乎干净"的未来视觉 latent，而推理时这些预测并不可靠。于是以 0.5 的概率额外扰动视觉插值输入，条件帧保持干净、flow 目标与 timestep embedding 都不改：

Z ~ t τ v = s a u g Z t τ v + ( 1 − s a u g ) ϵ v , s a u g ∼ U ( 0.5 , 1 ) , ϵ v ∼ N ( 0 , I ) (7) \widetilde{Z}t^{\tau_v}=s{\mathrm{aug}}Z_t^{\tau_v}+(1-s_{\mathrm{aug}})\epsilon_v,\quad s_{\mathrm{aug}}\sim\mathcal U(0.5,1),\ \epsilon_v\sim\mathcal N(0,\mathbf I) \tag{7} Z tτv=saugZtτv+(1−saug)ϵv,saug∼U(0.5,1), ϵv∼N(0,I)(7)

逼动作专家从粗糙的视觉表征里提取控制相关语义，而不是依赖精确的未来画面。

(b) 历史条件流匹配（A2A）：在预训练阶段，动作生成的源 (source) 是纯高斯噪声。从纯噪声生成动作需要很多步去噪 (denoising steps)，导致推理延迟高。这里把动作 flow 的高斯源换成"加噪的上一个动作 chunk"：

A t 1 = A t − 1 + ϵ a , ϵ a ∼ N ( 0 , η 2 I ) , η = 0.02 (8) A_t^1=A_{t-1}+\epsilon_a,\quad \epsilon_a\sim\mathcal N(0,\eta^2\mathbf I),\ \eta=0.02 \tag{8} At1=At−1+ϵa,ϵa∼N(0,η2I), η=0.02(8) A t τ = ( 1 − τ ) A t 0 + τ A t 1 , u t a = A t 1 − A t 0 (9) A_t^{\tau}=(1-\tau)A_t^0+\tau A_t^1,\qquad u_t^a=A_t^1-A_t^0 \tag{9} Atτ=(1−τ)At0+τAt1,uta=At1−At0(9)

历史 A t − 1 = a t − h + 1 : t A_{t-1}=a_{t-h+1:t} At−1=at−h+1:t 与目标同维度。视觉源仍是高斯噪声。因为起点已经在答案附近，去噪步数大幅下降。

3.4 训练与推理配置

预训练：32× NVIDIA H800，7 天。
后训练 ：batch 40，200,000 步；AdamW，lr 5 × 10 − 5 5\times10^{-5} 5×10−5，weight decay 0.01，线性调度 + 200 warmup，梯度裁剪 0.5；Wan 与 VLM 主干用 bfloat16。RoboTwin 用 8×H800 跑 12 小时，LIBERO 用 8×H800 跑 20 小时。
推理：动作流从长度 16 的最近动作历史初始化并加 σ = 0.02 \sigma=0.02 σ=0.02 高斯扰动，未来视觉 latent 从高斯噪声初始化；只走 2--4 步 flow 积分。

4. 实验以及结果

作者用五个问题串起实验：in-domain / OOD 能否做（Q1）、统一设计是否真的提升真机指令跟随与长程能力（Q2）、能否随数据 scale（Q3）、物理语言在表示空间里做了什么（Q4）、各训练设计有多重要（Q5）。

4.1 仿真：标准分布内

LIBERO（Table 4，成功率 %）

平均 99.2%，比此前最强基线 Xiaomi-Robotics-0 高 0.5 个百分点，Long 套件 98.4% 是表内最高。

RoboTwin 2.0（Table 5，50 个双臂任务均值 %） ：每任务 50 条 clean 示范训练，C2C / C2R 各测 100 集。

C2C 上 UniWAM（75.14）明显低于 OpenWAM- α \alpha α（89.4）与 4D-WAM（81.5），论文自述 C2C 体现的是"有限训练数据下的双臂性能"；真正拉开差距的是 C2R 68.32%（表内最高） 与均值 71.73%。

4.2 仿真：OOD 鲁棒性与泛化

LIBERO-Plus（Table 6） 沿七个维度做系统性扰动。UniWAM 总分 92.6% ，为所列方法最高；其中 robot（89.5%）、language（92.2%）、light（97.9%）、background（97.6%）四个维度均居首。

Camera 维度 UniWAM 92.0 并不占优（ACoT-VLA 96.6），说明单视角剧烈变化时视觉先验的收益有限；强项集中在机器人初始状态与语言扰动------恰好是"语义-动作映射"最能起作用的两个维度。

泛化的量化对比 ：从 C2C 切到 C2R，UniWAM 只掉 6.82 个百分点 ，而 π 0.5 \pi_{0.5} π0.5 掉 24.70、FastWAM 更是从 70.20 崩到 1.20------一个只会"预测干净未来"的 WAM，在环境随机化面前几乎没有可用动作能力，这反过来印证了物理推理器存在的必要性。

4.3 真机：指令跟随与长程

图 3｜真机实验设置：两条机械臂、三路观测相机，以及用于操作实验的大批日常物品。

平台：AgileX Piper 双臂（每臂 6-DoF + 平行夹爪），两路腕部相机 + 一路第三人称相机，场景中最多 18 种日常物品。

四个指令跟随任务分别考察名词接地（Pick-Anything）、名词+动词接地（Diverse-Interaction）、介词/空间关系（Place-Relative）、双臂协同与抽屉操作（Drawer Storage）。指标拆成 IFR（指令跟随率：有没有动对东西） 与 SR（任务成功率：有没有做完） ------理解对了但操作砸了，只扣 SR；动了错的东西，直接判 IFR 失败。

结果如下图所示：

4.4 人机联合训练的 scaling 分析

图 4｜Robot 与 Robot + Human 的数据 scaling 对比。左：验证 MSE；右：RoboTwin C2R 成功率。横轴为机器人数据小时数（对数刻度），所有配置都混有 VQA 数据。

分别用 250 / 500 / 1k / 2.5k / 5k 小时机器人数据预训练，另一组再叠加等量人类第一视角数据：

机器人数据越多，OOD 表现越稳：平均任务完成度从 250 h 的 0.35 单调升到 5k h 的 0.67 ，所探范围内没有饱和迹象。
小数据量时加人类数据反而掉点 ；到 1k 小时之后人类数据开始带来收益，且规模越大越明显。作者的解释是：小时数据下两种分布在视觉与物理上的差异会互相干扰，大数据量下才可能把跨具身的共享世界动力学迁移出来。
收敛时的验证 loss 与数据规模呈非常干净的 log-linear 关系 ：

L ( D ) ≈ 0.03205 − 0.00302 ln ⁡ ( D ) , R 2 ≈ 0.983 L(D)\approx 0.03205-0.00302\ln(D),\qquad R^2\approx 0.983 L(D)≈0.03205−0.00302ln(D),R2≈0.983

其中 D D D 为机器人 + 人类预训练小时数。更实用的一点是：离线验证 loss 的走势与真机成功率同步下降，意味着 validation loss 可以当作具身控制能力的一个代理指标------这对"要不要再买 1000 小时数据"的决策很有价值。

下面对比了"有物理语言监督"和"无物理语言监督"两种情况下，物理推理器 (Physical Reasoner) 对人类数据和机器人数据提取的表征。物理语言监督鼓励模型学习人类和机器人具身之间共同的操纵语义表征 (common manipulation semantics)，它有效地缩小了学习到的表征中的域差异，从而促进了混合数据预训练带来的通用操作能力和泛化能力的提升。

图 5｜物理语言监督让人类---机器人迁移"浮现"。t-SNE 展示 physical reasoner 对机器人（紫）与人类（灰）数据的表示：无监督（左）两团基本分离，加监督（右）在中心与下方区域明显重叠。

4.5 消融

图 6｜RoboTwin 2.0 上的三组消融：数据源、VLM 训练策略、动作生成策略。

(a) 多源预训练。 只用机器人：平均 46.23% → 67.53%。再叠加人类数据：C2C 72.30 → 75.12，C2R 62.76 → 67.56，平均 71.34%。Robot + VQA 只有 67.13%（C2R 略升、C2C 反降）。三者齐全才最好：75.14 / 68.32 / 71.73。VQA 单加意义不大，与机器人+人类混训时才有增益。

(b) VLM 怎么训。 累积消融：解冻 reasoner 让平均从 42.61% → 46.49%；再加物理语言监督 → 51.74%；再加预训练 → 71.34%。也就是说"把 VLM 冻起来当特征提取器"是最差的选择，而解锁它的收益主要来自完整预训练配方。

© 动作生成策略。 A2A（动作到动作）优于 N2A（噪声到动作），平均 SR 64.80% → 69.73%；再叠上未来视觉增强到 71.34% 。附录 C 进一步显示：A2A 只用 2--4 步就能超过走 10 步的 N2A，因此默认用 4 步 A2A 推理。

5. 总结

UniWAM 提出了一种统一的框架（Unified Framework），旨在同时学习物理语义推理（Physical Semantic Reasoning）、世界建模（World Modeling）和动作预测（Action Prediction）。它试图打破传统视觉-语言-动作（VLA）模型与世界动作模型（WAM）之间的壁垒，构建一个真正的通用机器人模型。

关键方法与创新

统一架构 (MoT): 采用 Mixture-of-Transformers 架构，整合了物理推理器（基于Qwen3-VL）、世界生成器（基于Wan2.2）和动作预测器，并通过联合注意力机制实现跨模态交互。
精细的数据工程: 开发了严格的数据清洗与标注管道，特别是针对人类自我中心数据（如 EgoANT 自动标注系统），解决了异构数据（人类视频 vs. 机器人数据）缺乏精确动作标签的问题。
物理语言监督 (Physical Language Supervision):将低级动作编码为自然语言描述，不仅保留了 VLM 的语义能力，还成功实现了人类与机器人跨具身（Cross-embodiment）的语义对齐与知识迁移。
高效的后训练策略:
- 未来帧噪声增强: 降低动作预测对完美视觉输入的依赖，提升鲁棒性。
- 历史条件流匹配: 将动作生成的起点从纯噪声替换为"历史动作+微扰"，大幅减少了推理时的去噪步数（仅需2-4步），实现了高效推理。