【论文解读】Native Video-Action Pretraining for Generalizable Robot Control

一篇读懂原生 Video-Action 预训练：从给视频生成器「打补丁」到为机器人控制「从零造基座」的 LingBot-VA 2.0

论文：Native Video-Action Pretraining for Generalizable Robot Control（Robbyant，arXiv 2026）

发布时间：2026 年 7 月 9 日（arXiv v1）

作者：Qihang Zhang、Lin Li、Luyao Zhang、Shuai Yang、Yiming Luo、Shuaiting Li、...、Yujun Shen、Yinghao Xu（共 29 人）

核心一句话：用从零预训练的因果 video-action 基座（13B 稀疏 MoE / 1.9B 激活）把机器人控制频次推到 225 Hz、只需 10--15 段示教即可泛化，并在 RoboTwin 上以 93.6% 平均成功率领先 π 0.5 \pi_{0.5} π0.5 14 个百分点------不再借用为数字内容生成而训的视频生成器，而是为具身控制原生预训练整条 video-action 栈。

配套资源

• 项目主页：LingBot-VA 2.0 --- Robbyant Technology

核心关键词

• Video-Action 模型：不直接从观测映射到动作，而是先预测场景将如何演化、再决定如何在其中行动的一类机器人策略范式，把控制建立在物理动力学之上。
• 原生预训练（Native Pretraining）：相对于「拿为视频生成而训的现成骨干继续训练」，指语义 tokenizer、因果 DiT、动作专家等整条栈都为具身控制从零训练，避免双向→因果改造带来的先验侵蚀。
• 语义视觉-动作 Tokenizer：在重建 VAE 之上增加「向视觉基础模型对齐」与「从无标注视频提取潜在动作」两个目标，把世界状态和潜在动作放进同一语义潜空间。
• 因果 DiT + 稀疏 MoE 视频流：以因果自注意力建模时间动态、用混合专家扩张视频流容量而不抬高每步激活算力，服务于高频闭环控制。
• 多块预测（MCP）：一次性监督未来 K 个 chunk，迫使表征编码轨迹级动力学而非短期视觉连贯，对抗「相邻帧太像、模型学会复制外观」的近视监督问题。
• Foresight Reasoning：推理与执行异步并行的闭环方案------执行当前 chunk 时并行预测下一 chunk，并用真实观测对 KV cache 反复「重新接地」，避免开环漂移。
• 人机协同训练（HCT）与 In-Context Learning：把第一人称人类操作视频与机器人数据共训于共享世界模型，并允许以人类示范视频作为任务上下文实现免参数更新的少样本迁移。

带着问题阅读

1. 既然视频生成模型已经能预测「未来会怎样」，为什么直接拿它来驱动机器人控制反而被作者判定为「天生不合适」？三个具体的硬伤分别是什么？
2. 「原生预训练」相比 LingBot-VA 一代的「双向骨干 + 因果微调」路线，到底规避了什么风险？为什么作者坚持要为因果性「从零造基座」而不是事后改造？
3. 语义 tokenizer 把「视觉潜变量」和「潜在动作」放进同一空间，这件事为何能让无标注的网络视频也变成动作相关的监督信号？
4. 稀疏 MoE 加多块预测（MCP）和一致性蒸馏，这一整套组合拳，是如何把一个 15.3B 参数的扩散 Transformer 压到 225 Hz 异步控制频率的？
5. Foresight Reasoning 「预测---校正」的异步闭环，与 Multi-Stream LLM 的多流推理、与 GEN-0 的 Harmonic Reasoning 相比，关键的「重新接地」一步到底新在哪里？
6. 93.6% 的 RoboTwin 平均成功率、+14 个百分点的提升，这些证据到底能支撑到什么程度？哪些是作者明确声称的，哪些是基于公开信息的合理推断与仍待验证之处？

一、核心导读

这篇工作要回答的核心问题是：机器人的通用控制能力，到底更多地来自预训练基座，还是来自在它之上学到的策略？ 作者的判断很明确------「至少同样多地来自预训练基座」。由此出发，他们把矛头指向当下 video-action 模型的一个结构性原罪：它们几乎都是把为「数字内容生成」而设计的视频生成器，事后贴上一个动作模块改造成的。

LingBot-VA 2.0 的回答是用四个设计原则把整条栈「为具身控制原生重做」：语义视觉-动作 tokenizer 取代纯重建 VAE、因果预训练取代双向骨干的事后因果改造、稀疏 MoE 在不牺牲效率的前提下扩张容量、Foresight Reasoning 把推理与执行异步化以实现实时闭环。落到证据上，它只需 10--15 段示教即可泛化、在 RoboTwin 双臂基准上拿到 93.6% 平均成功率（较 π 0.5 \pi_{0.5} π0.5 高 14 个百分点）、并把异步控制频率推到 225 Hz。

需要先点明一句贯穿全文的判断：这篇文章的真正主张不是「又一个更强的策略网络」，而是**「为机器人控制而生的基座应该从预训练阶段就是因果的、语义-动作对齐的、可高频部署的」**------四个原则都服务于这一条主线。

二、问题背景：作者到底想解决什么

2.1 Video-Action 范式的承诺与它继承的「家底」

Video-action 模型（如 LingBot-VA、DreamZero）的吸引力在于：它不再像反应式 VLA 策略那样把观测直接映射到动作，而是联合预测场景如何演化、以及在其中如何行动 ，把控制建立在物理动力学之上，从而改善样本效率与泛化能力。但作者紧接着提醒：这些能力大多继承自「为视频生成而预训练的骨干」------也就是说，通用机器人控制的好坏，至少同样取决于这个预训练基座。这一句既是动机，也是后续一切「从零重做基座」论证的出发点。

2.2 三个具体的硬伤

作者把「拿现成视频生成器改控制」这条路总结为三个硬伤，这三个硬伤几乎一一对应后续的四个设计原则：

• 表征为外观而生、不为动力学而生。像素重建型 VAE 的潜变量保留了视觉细节，却携带很少的语义与物理结构；事后贴上的动作模块，让世界状态和动作处在对齐很差的空间里。
• 推理太慢、撑不起闭环控制。高维视频 token + 迭代去噪，让第一代 video-action 模型在真实机器人所需频率下代价高昂。
• 预训练信号不朝控制方向扩展。网络视频虽然海量，但通用视频目标并不教会「动作如何改变世界」，于是动作信号仍依赖昂贵的机器人数据，限制了下游适配前能学到的控制知识。

2.3 结构性错配：双向骨干 vs 严格因果的时间动力学

最尖锐的一刀来自一个结构性错配：骨干网络是用双向注意力预训练的，而闭环控制在时间上是严格向前的 。LingBot-VA 一代的解法是把整条栈微调成因果 video-action 模型，但作者认为这种「事后改造」依赖稀缺机器人数据、且可能侵蚀 从网络规模预训练中获得的广泛先验。因此他们选择原生路线：连语义 tokenizer 带因果 DiT，整体在网络规模图像/视频数据上为机器人控制从零预训练，让广泛先验「以因果形式原生获得」，而不是「先继承、再被磨损」。这是全文最关键的方法学判断，也是它与一代理之分野所在。

三、核心思路：用一句主线串起来

一句话概括 LingBot-VA 2.0 的主线：先建一个观察与动作共享的语义潜空间，再在这个空间上学因果动力学，最后用异步推理把这套「会想象未来」的模型变成实时闭环控制器。 两阶段 + 一套推理方案的分工很清晰：

• 第一阶段，语义视觉-动作 tokenizer：超越重建，把视频潜变量对齐到一个冻结的视觉基础模型，并用自监督从无标注视频里学出潜在动作，让世界状态与动作处在同一空间------这样连没有动作标签的网络视频也能提供动作相关监督。
• 第二阶段，因果扩散 Transformer：在上述共享空间里，与冻结的语言模型做交叉注意力，按语言指令预测未来视觉潜变量及其间的潜在动作；其因果 next-latent 目标既可扩展到网络视频、又匹配闭环控制的时间结构，避免了双向→因果的事后改造；前馈层以稀疏 MoE 实现，扩张容量却不抬高每步激活算力。
• 推理与部署：Foresight Reasoning 让未来视觉潜变量的预测与动作执行并行，但每次真实观测到来都用学到的 forward dynamics 把 rollout 重新接地到最新观察，保持闭环。

下图给出了整条栈的全貌，建议先对着它建立整体印象再进入分模块拆解。

如图所示，这条主线的关键在于每一层都不是事后贴补 ：规划器、语义 tokenizer、MoE 视频/动作专家、MCP、异步执行都在为「因果、语义-动作对齐、高频闭环」这同一个目标服务。这也是作者反复强调的「native」的含义------不是 native 在用了某个新模块，而在于整条栈的预训练目标与因果结构自始至终为具身控制而设。

四、方法展开：沿着论文原始逻辑拆解

4.1 预备：视频生成器如何被「改造」成控制模型

在进入原生设计之前，作者先用两小节交代了被改造的对象。现代视频生成器由两部分组成：一个把原始视频 o ∈ R T × H × W × 3 o\in\mathbb{R}^{T\times H\times W\times 3} o∈RT×H×W×3 压成潜变量并重建的 VAE ( E , D ) (\mathcal{E},\mathcal{D}) (E,D)，

z = E ( o ) ∈ R T ′ × h × w × c , o ^ = D ( z ) ≈ o z=\mathcal{E}(o)\in\mathbb{R}^{T'\times h\times w\times c},\quad \hat{o}=\mathcal{D}(z)\approx o z=E(o)∈RT′×h×w×c,o^=D(z)≈o

（其中时间/空间下采样因子为 f t = T / T ′ f_t=T/T' ft=T/T′、 f s = H / h = W / w f_s=H/h=W/w fs=H/h=W/w），以及一个在该潜空间里从噪声 ϵ ∼ N ( 0 , I ) \epsilon\sim\mathcal{N}(0,I) ϵ∼N(0,I) 出发、按文本提示回归速度场的 flow-matching Transformer，其注意力在所有 T ′ T' T′ 帧上是双向 的。关键定性是：这个 VAE 纯为视频压缩而训，目标只有重建保真，毫无动作或控制的概念------这正是 2.2 节第一个硬伤的来源。

把这套栈改造成控制模型，要做两件事。其一是视频因果化 ：把式 (2) 的双向注意力换成因果掩码，让每帧只依赖过去，匹配「现在不能注意到未来」的闭环控制。其二是动作注入：把 video-only 的因式分解扩展为「给定初始视觉上下文，对未来潜变量与动作的条件分布」：

p θ ( z 1 : N , a 0 : N − 1 ∣ z 0 ) = ∏ t = 0 N − 1 p θ ( z t + 1 ∣ z ≤ t , a < t ) ⏟ video 生成    p θ ( a t ∣ z ≤ t , a < t , z t + 1 ) ⏟ 逆动力学 p_{\theta}\big(z_{1:N},a_{0:N-1}\mid z_{0}\big)=\prod_{t=0}^{N-1}\underbrace{p_{\theta}\big(z_{t+1}\mid z_{\leq t},a_{<t}\big)}{\text{video 生成}}\;\underbrace{p{\theta}\big(a_{t}\mid z_{\leq t},a_{<t},z_{t+1}\big)}_{\text{逆动力学}} pθ(z1:N,a0:N−1∣z0)=t=0∏N−1video 生成 pθ(zt+1∣z≤t,a<t)逆动力学 pθ(at∣z≤t,a<t,zt+1)

这里 a t a_t at 不是单个低层控制指令，而是与一次潜状态转移 z t → z t + 1 z_t\to z_{t+1} zt→zt+1 对齐的动作 chunk （把两条视觉潜变量之间的原始动作打包成一块）。不同方法对这个条件分布的参数化不同：DreamZero 把视频和动作 token 拼进一个共享流联合去噪；而本文采用 Mixture-of-Transformers（MoT）的做法，把视频与动作交给共享因果注意力、各自独立前馈通路 的两个专家 { v θ v i d , v θ a c t } \{v_\theta^{vid},v_\theta^{act}\} {vθvid,vθact}，分别预测下一视觉潜变量、并用逆动力学解码动作：

z ^ t + 1 = v θ v i d ( z ≤ t , a < t ) , a ^ t = v θ a c t ( z ≤ t , a < t , z ^ t + 1 ) \hat{z}{t+1}=v\theta^{vid}(z_{\leq t},a_{<t}),\quad \hat{a}t=v\theta^{act}\big(z_{\leq t},a_{<t},\hat{z}_{t+1}\big) z^t+1=vθvid(z≤t,a<t),a^t=vθact(z≤t,a<t,z^t+1)

总目标是 L V A = L v i d + λ a c t L a c t \mathcal{L}{VA}=\mathcal{L}{vid}+\lambda_{act}\mathcal{L}_{act} LVA=Lvid+λactLact，视频与动作各有独立的 flow-matching 速度场损失。理解了「被改造的对象长什么样、改造的两步是什么」，才能看清下文「为什么要从零重做而不是继续改造」。

4.2 语义视觉-动作 Tokenizer：让世界状态与动作共享同一空间

这是第一阶段，也是四个原则里「脱离重建型 VAE」的落点。作者沿用 RepWAM 的思路，在重建 VAE 之上加两个目标：语义对齐 （把视觉潜变量拉向基础模型特征）与潜在动作（从连续潜变量里提取紧凑的转移变量）。下图即该 tokenizer 的结构。

视觉 tokenizer 与语义对齐。 采用 ViT 自编码器：首帧编码为 16 × 16 16\times16 16×16 空间 patch，后续帧编码为 4 × 16 × 16 4\times16\times16 4×16×16 时空 tubelet；编码器在帧内用全空间注意力、跨帧用因果注意力，对称解码器解码回像素空间。重建损失综合像素、感知与对抗三项：

L r e c = λ 1 ∥ o − o ^ ∥ 1 + λ p e r c L p e r c ( o , o ^ ) + λ g a n L g a n ( o ^ ) \mathcal{L}{rec}=\lambda_1\|o-\hat{o}\|1+\lambda{perc}\mathcal{L}{perc}(o,\hat{o})+\lambda_{gan}\mathcal{L}_{gan}(\hat{o}) Lrec=λ1∥o−o^∥1+λpercLperc(o,o^)+λganLgan(o^)

语义对齐则用一个冻结的 Perception Encoder 作教师 G G G，经可学习投影 W a l i g n W_{align} Walign 后按时间平均池化匹配特征：

L a l i g n = ∥ avg ⁡ ( W a l i g n z ) − avg ⁡ ( G ( o ) ) ∥ 2 2 \mathcal{L}{align}=\left\|\operatorname{avg}(W{align}z)-\operatorname{avg}(G(o))\right\|_2^2 Lalign=∥avg(Walignz)−avg(G(o))∥22

注意是 clip 级语义匹配同时保留每帧重建信息------这一步把潜变量从「只为像素服务」拉到「也带语义结构」。视觉 tokenizer 总目标为 L v i s = L r e c + λ a l i g n L a l i g n \mathcal{L}{vis}=\mathcal{L}{rec}+\lambda_{align}\mathcal{L}_{align} Lvis=Lrec+λalignLalign。

潜在动作 tokenizer：无需动作标签学出动作。 在冻结的视觉 tokenizer 之上，训练逆动力学模型 q ϕ q_\phi qϕ 与前向动力学模型 f ψ f_\psi fψ。对相邻两个视觉潜变量，IDM 预测一个远低于潜变量维度的紧凑转移变量：

ℓ t = q ϕ ( z t , z t + 1 ) ∈ R d ℓ , d ℓ ≪ dim ⁡ ( z t ) \ell_t=q_\phi(z_t,z_{t+1})\in\mathbb{R}^{d_\ell},\qquad d_\ell\ll\dim(z_t) ℓt=qϕ(zt,zt+1)∈Rdℓ,dℓ≪dim(zt)

FDM 把 ℓ t \ell_t ℓt 解码为「传输映射 + 残差」重建下一潜变量： z ^ t + 1 = f ψ ( z t , ℓ t ) = K t z t + δ t \hat{z}{t+1}=f\psi(z_t,\ell_t)=K_t z_t+\delta_t z^t+1=fψ(zt,ℓt)=Ktzt+δt。这里的工程直觉值得展开： K t K_t Kt 在空间 token 间搬运信息（描述「哪里移动了」）， δ t \delta_t δt 吸收传输无法解释的变化（描述「纯粹新增/消失的内容」）；并对 ℓ t \ell_t ℓt 设瓶颈，防止它直接复制全部视觉状态，从而逼它只捕获与控制相关的变化。训练用前向预测与反向一致性，在无标注视频上自监督：

L ℓ = ∑ t ∥ z ^ t + 1 − z t + 1 ∥ 2 2 + ∥ z ^ t − z t ∥ 2 2 \mathcal{L}\ell=\sum_t\left\|\hat{z}{t+1}-z_{t+1}\right\|_2^2+\left\|\hat{z}_t-z_t\right\|_2^2 Lℓ=t∑∥z^t+1−zt+1∥22+∥z^t−zt∥22

最终 tokenizer 对每个视频片段输出成对的「视觉-动作潜变量」 ( z 0 : N , ℓ 0 : N − 1 ) (z_{0:N},\ell_{0:N-1}) (z0:N,ℓ0:N−1)，并记 a t ≡ ℓ t a_t\equiv\ell_t at≡ℓt 以与 4.1 节记号统一。这一步的意义在于：世界状态与动作从此处在同一语义潜空间，而该空间的动作信号可以从无标注网络视频里自监督地学得------这是后续「预训练信号朝控制扩展」的物理基础。

4.3 双系统层级策略：规划器与策略异步解耦

进入第二阶段前，先看贯穿部署的「双系统」结构。长程任务需要把高层目标分解成子任务、跟踪当前子任务、决定何时切换。作者把规划器实现为一个预训练 VLM 经 LoRA 微调 的模块，输出与策略训练时所见完全一致的 conditioning 字段（任何错配都会让策略在推理时收到分布外条件）。规划器输出四个字段的 JSON：done（完成信号）、instruction（紧凑执行指令，是策略训练时的主条件）、generation_instruction（对动作与物体交互的更丰富描述）、local_scene_description（观测接地的空间布局描述）。done 只给高层调度用，策略只消费后三个文本字段。下图刻画了这一双系统结构。

规划器与策略频率不同、通过异步共享缓冲解耦 ：规划器在后台约 2 Hz 运行、把结构化子任务上下文写进缓冲，策略在每个动作 chunk 边界读取最新上下文作为条件。这一设计保证规划器推理延迟不阻塞策略执行环 ------这既是工程安排，也呼应了全文「高频闭环」的主线。训练数据用「跨边界采样」直接对齐在线部署场景：在每个子任务边界生成 done=false（位于当前段内，目标是当前段四字段）与 done=true（刚越过边界，目标是下一段四字段）两类样本，后者要求规划器从视觉观测与任务历史预测即将到来的子任务，而非简单回声当前段。规划器因此被当作「给策略提供局部语言上下文的接口模块」，而非单独优化的策略组件。

4.4 MoE 视频流架构：扩张容量而不抬高每步算力

低层策略保留 4.1 节的 MoT 结构（视频/动作两专家、共享因果自注意力、各自前馈通路），但做非对称扩展 ：视觉动力学承担主要建模负担，于是把视频专家里每个因果 DiT block 的稠密前馈换成稀疏 MoE 路由层，动作专家保持稠密。MoE 设计沿用 DeepSeekMoE/DeepSeek-V3 的稀疏 scaling 原则，因果/交叉注意力结构不变------路由发生在因果自注意力之后、按 token 作用的前馈操作，因此增加专家数只扩张视频流容量、不改变式 (5) 的因果依赖结构。

路由用 sigmoid 计分 + group-limited top-k 路由：先把专家分组、按最强 router 分数选若干组、再在组内选最终 k k k 个：

R ( h ) = T o p K g r o u p ( r ( h ) + b , k ) , ∣ R ( h ) ∣ = k \mathcal{R}(h)=\mathrm{TopK}_{group}(r(h)+b,k),\qquad |\mathcal{R}(h)|=k R(h)=TopKgroup(r(h)+b,k),∣R(h)∣=k

其中 b b b 是仅用于专家选择的逐专家校正偏置。top-k 分数归一化并缩放为 α i ( h ) = γ   r i ( h ) / ∑ j ∈ R ( h ) r j ( h ) \alpha_i(h)=\gamma\,r_i(h)/\sum_{j\in\mathcal{R}(h)}r_j(h) αi(h)=γri(h)/∑j∈R(h)rj(h)，MoE 输出为：

M o E ( h ) = E s h a r e d ( h ) + ∑ i ∈ R ( h ) α i ( h ) E i ( h ) \mathrm{MoE}(h)=E_{shared}(h)+\sum_{i\in\mathcal{R}(h)}\alpha_i(h)E_i(h) MoE(h)=Eshared(h)+i∈R(h)∑αi(h)Ei(h)

主配置 N e = 128 N_e=128 Ne=128、 k = 8 k=8 k=8：每个 token 只激活路由专家池的一小部分，而全参数集对整段序列可用。负载均衡沿用 Loss-Free Balancing 的无辅助损失策略，并按 Moonlight 的 auxfree 偏置更新：每步按观测到的专家 token 计数 c i c_i ci 更新校正偏置 b i b_i bi，不向 video-action 扩散目标注入大的均衡梯度。前向用 grouped 专家矩阵乘实现长序列高效训练。

为核验这套稀疏视频流不会带来明显优化惩罚，作者对比 MoE-13B-A1.9B 与 Dense-5B 在同设置下的训练损失，如下图。

如图所示，按优化步对齐时两者轨迹相近、稠密略低；按墙钟训练时间对齐时最终损失几乎重合。结论是：在所考虑的训练预算下，该 MoE 视频流在不引入明显优化惩罚的前提下提升了总模型容量------这正是「扩张容量而不抬高每步激活算力」的实证依据。需要清醒看待的是，这一证据是训练损失层面的，并不直接等价于下游控制能力等价，下游等价仍由 RoboTwin 等实验兜底。

4.5 多块预测（MCP）：把表征从「复制外观」推向「轨迹级动力学」

标准 teacher-forced 的 video-action 训练只监督当前 chunk，造成近视监督 ：相邻 chunk（尤其高帧率下）视觉上太像，模型靠复制外观就能降损失、而非学到动力学。这与本文「预训练一个表征物理世界在动作下如何演化的原生 video-action 基座」的目标相悖。于是作者沿用 Next Forcing 引入多块预测（MCP）作为辅助目标，让因果策略的视觉表征对未来状态转移具有预测性。下图给出 MCP 的结构。

teacher forcing 只监督下一 chunk 条件 p θ ( z t + 1 ∣ z ≤ t , a < t ) p_\theta(z_{t+1}\mid z_{\leq t},a_{<t}) pθ(zt+1∣z≤t,a<t)，而 MCP 预测未来 K 个 chunk 的整块：

p θ ( z t + 1 : t + K ∣ z ≤ t , a < t ) ≈ ∏ k = 1 K p θ , k ( z t + k ∣ h t ( k − 1 ) ) , h t ( 0 ) = f θ ( z ≤ t , a < t ) p_\theta\big(z_{t+1:t+K}\mid z_{\leq t},a_{<t}\big)\approx\prod_{k=1}^{K}p_{\theta,k}\big(z_{t+k}\mid h_t^{(k-1)}\big),\quad h_t^{(0)}=f_\theta(z_{\leq t},a_{<t}) pθ(zt+1:t+K∣z≤t,a<t)≈k=1∏Kpθ,k(zt+k∣ht(k−1)),ht(0)=fθ(z≤t,a<t)

即 t t t 步的表征必须编码未来 K 个 chunk 的演化，而不只是下一个。这里 h t ( k − 1 ) h_t^{(k-1)} ht(k−1) 是穿过堆叠 MCP 模块的内部特征状态，不是干净或预测的未来观测 ------第 k k k 视界预测器复用前一 MCP 特征、而非条件于 z t + 1 : t + k − 1 z_{t+1:t+k-1} zt+1:t+k−1。每个视界用与主模型相同的 flow-matching 目标训练：

L k M C P = E t , s , ϵ t k ∥ v θ , k M C P ( z t + k ( s ) , s ∣ h t ( k − 1 ) ) − ( z t + k − ϵ t k ) ∥ 2 \mathcal{L}k^{MCP}=\mathbb{E}{t,s,\epsilon_t^k}\left\\left\\\|v_{\\theta,k}\^{MCP}\\big(z_{t+k}\^{(s)},s\\mid h_t\^{(k-1)}\\big)-\\big(z_{t+k}-\\epsilon_t\^k\\big)\\right\\\|\^2\\right LkMCP=Et,s,ϵtk vθ,kMCP(zt+k(s),s∣ht(k−1))−(zt+k−ϵtk) 2

实现上每个视界一个挂在主 DiT 上的轻量 MCP 模块，取 K = 3 K=3 K=3（next 1 ^1 1/next 2 ^2 2/next 3 ^3 3），各模块去噪一个时间移位的视觉潜目标、但用更大的 timestep shift，使其无法只凭自身噪声输入解题、必须依赖主模型表征 。模块形成因果链：第一个消费若干 DiT 层融合的中间特征，更深的模块额外条件于前一个，让近未来预测辅助远未来预测。未来 chunk 去噪的梯度由此回流进骨干，形成密集时间监督，逼其围绕轨迹级动力学而非局部外观组织潜变量。各视界损失权重沿用 Next Forcing 的 ( w 1 , w 2 , w 3 ) = ( 0.5 , 0.2 , 0.1 ) (w_1,w_2,w_3)=(0.5,0.2,0.1) (w1,w2,w3)=(0.5,0.2,0.1)：

L M C P = ∑ k = 1 K w k L k M C P \mathcal{L}{MCP}=\sum{k=1}^{K}w_k\mathcal{L}_k^{MCP} LMCP=k=1∑KwkLkMCP

部署时同一 checkpoint 支持两种模式：丢弃 MCP 模块零开销推理 （主策略仅由训练期监督受益），或保留以与当前 chunk 并行预测下一视觉 chunk 以降低 rollout 延迟。MCP 只作用于视觉流，但更具预测性的视觉状态也通过共享 video-action 注意力与逆动力学路径改善动作解码。这是全文少有的「训练时加约束、推理时可零成本摘掉」的设计，工程性价比极高。

4.6 In-Context Learning 与人机协同训练：把人类视频变成可扩展监督

仅靠语言指令难以覆盖罕见物体、复杂多物体交互与长程任务的细粒度时序结构。作者沿用 Zero-WAM 引入视频上下文学习（ICL） ：每个 ICL 样本把机器人视频与一段语义对齐的人类示范视频配对------人类视频无需共享同一物体实例、视角或场景，仅作为「动态视觉范例」展示任务应如何展开。给定人类示范视频，用语义 tokenizer 编码为 in-context 潜变量 z i c l z_{icl} zicl，并把它作为外部任务提示条件化每一个机器人 chunk：

p θ ( z 1 : N , a 0 : N − 1 ∣ z 0 , z i c l ) = ∏ t = 0 N − 1 p θ ( z t + 1 ∣ z ≤ t , a < t , z i c l )   p θ ( a t ∣ z ≤ t , a < t , z t + 1 , z i c l ) p_\theta\big(z_{1:N},a_{0:N-1}\mid z_0,z_{icl}\big)=\prod_{t=0}^{N-1}p_\theta\big(z_{t+1}\mid z_{\leq t},a_{<t},z_{icl}\big)\,p_\theta\big(a_t\mid z_{\leq t},a_{<t},z_{t+1},z_{icl}\big) pθ(z1:N,a0:N−1∣z0,zicl)=t=0∏N−1pθ(zt+1∣z≤t,a<t,zicl)pθ(at∣z≤t,a<t,zt+1,zicl)

由于 z i c l z_{icl} zicl 来自独立的人类示范而非机器人轨迹的未来，对整段示范的注意并不违反机器人侧因果性；机器人侧因果掩码仍阻止每个 chunk 注意未来机器人 chunk。

ICL 的训练数据需要把机器人视频转换成任务语义一致的人类视频，其流水线如下图。

如图所示，先按任务分类学从大规模机器人视频数据集采样，对每段机器人视频用 VLM（如 Gemini-3.1-Pro）做任务分析并生成图像编辑提示，把机器人首帧编辑成人类操作的初始观测（只要求保留任务语义、不约束视角/场景/物体实例）；再由 VLM 生成人类视频生成提示、驱动视频生成模型（如 WAN-2.6、Kling-V3）合成人类操作视频；最后由 VLM 按「任务语义保持」与「物理合理性」打分过滤，合格者与原机器人轨迹配对成 ICL 样本。最终 ICL 数据集覆盖 10+ 机器人视频预训练数据集、5000+ 任务、50000+ 样本。

人机协同训练（HCT） 进一步把第一人称人类操作视频与机器人数据共训 （而非先人类预训练再适配），让共享 video-action 模型在整个训练过程中持续受益于低成本、多样的人类示范。难点有二：人手与机器人夹爪的动作空间错配、自然人类运动与机器人运动学的运动 gap；这两点对 video-action 世界模型尤其有害，因为过去动作会反馈进预测上下文，错配的人类动作会污染共享动力学 。解法是把人手位姿重定向进机器人动作空间，同时在共享世界模型外保留 embodiment 各自的动作编/解码器。两个语料 D R = { ( o , a R ) } \mathcal{D}_R=\{(o,a^R)\} DR={(o,aR)}、 D H = { ( o , a ~ H ) } \mathcal{D}_H=\{(o,\tilde{a}^H)\} DH={(o,a~H)} 共享观测 o o o，但动作经统一跨 embodiment 布局表达：缺失通道零填充并掩码，其 d a d_a da 维双臂末端执行器切片对每只手持有 6-DoF 根位姿与一个标量夹爪开合；人手标签由映射 Φ \Phi Φ 重定向进该切片：

a H = Φ ( a ~ H ) ∈ A a^H=\Phi(\tilde{a}^H)\in\mathcal{A} aH=Φ(a~H)∈A

Φ \Phi Φ 保留两个 6-DoF 手根位姿，并把每只手的手指构型 q q q 映射为单一标量夹爪开合 φ ( q ) \varphi(q) φ(q)------这一功能性开合 取代了先前协同训练中用的「空操作夹爪占位」，使人类动作也能监督「何时抓取」。两域同过一共享世界模型，只在每域动作编/解码器 E d / P d E_d/P_d Ed/Pd 上不同；video 专家 v v i d v^{vid} vvid、动作专家 v a c t v^{act} vact、因果注意力全共享：

a ^ t ( d ) = P d ( v a c t ( z ≤ t , E d ( a < t ) , z ^ t + 1 ) ) \hat{a}t^{(d)}=P_d\big(v^{act}(z{\leq t},E_d(a_{<t}),\hat{z}_{t+1})\big) a^t(d)=Pd(vact(z≤t,Ed(a<t),z^t+1))

共训目标对两域求和，各自经自身动作头解码；部署只用机器人分支 ( E R , P R ) (E_R,P_R) (ER,PR)，故共训不增推理成本 。手到夹爪的映射 φ \varphi φ 把手当虚拟平行夹爪（拇指为一颌、四指为另一颌），由正运动学恢复 3D 指尖、取两颌沿闭合方向的距离为开合、按数据集分位归一化；6-DoF 手根位姿原样保留。这种「共享世界模型 + 各域动作头」的设计，是让人类数据在不污染共享动力学的前提下迁移到机器人控制的关键结构决策。

4.7 训练配方：多任务共训与 coarse-to-fine 调度

通用视频生成器（如 Wan）为合成而预训练，其双向注意力与因果闭环控制冲突；加上本文自建 tokenizer 的语义潜空间与任何现成生成器都不同，作者因此从零构建预训练配方、而非继续训练借用骨干 。关键是不 采用严格分阶段课程（先 T2I、再 T2V、再 video-action），因为分阶段会在训练收窄到稀缺具身数据时灾难性遗忘 早期习得的广泛外观与动力学先验。替代方案是多任务共训：所有目标在预训练全程联合优化、只随时间改变相对混合权重，让模型在朝控制特化的同时始终保留通用世界知识。五个任务都在共享语义潜空间与同一因果 DiT 骨架上实现，只在条件与监督上不同：T2I（单帧文本条件生成，建立视觉-语义接地并对齐语言）、T2V（文本条件多帧生成，学通用时序动力学与运动先验）、TI2VA（核心控制任务，未来潜变量预测 + 潜在动作逆动力学，条件于语言指令与观测历史）、ICL（以示范视频为额外上下文生成 video-action rollout）、HCT（人机共训）。所有任务共享参数，在单一混合目标下联合优化：

L ( τ ) = ∑ i ∈ T π i ( τ ) L i , π i ( τ ) ≥ 0 , ∑ i ∈ T π i ( τ ) = 1 \mathcal{L}(\tau)=\sum_{i\in\mathcal{T}}\pi_i(\tau)\mathcal{L}i,\quad \pi_i(\tau)\ge 0,\quad \sum{i\in\mathcal{T}}\pi_i(\tau)=1 L(τ)=i∈T∑πi(τ)Li,πi(τ)≥0,i∈T∑πi(τ)=1

采样分布 π ( τ ) \pi(\tau) π(τ) 走 coarse-to-fine 调度：早期主要 mass 在 T2I 建外观与语义对齐，随后转向 T2V 巩固时序动力学，晚期集中于 video-action 任务（TI2VA、ICL、HCT）特化共享表征为动作相关控制。因所有任务共享参数，早期被强调的目标在后期仍提供小但非零的正则信号，在模型适配具身控制的同时保留广泛图像/视频先验。这一配方是「原生预训练」落地的具体形态：不是某个新损失，而是一套让因果栈在多任务共训中同时获得通用先验与控制特化的调度策略。

4.8 Foresight Reasoning：预测---校正的异步闭环

即便有了语义潜空间与稀疏骨干，真实硬件部署仍面临串行瓶颈 ：机器人必须一边继续动作一边让世界模型更新预测，否则模型延迟直接变成控制延迟。作者借鉴 Multi-Stream LLMs 的并发推理动机，把闭环 rollout 组织成两条因果耦合、速率不同的流：预测流 （预测未来视觉潜变量及从中解码的动作）与执行流 （机器人在真实世界执行当前动作 chunk）。同步运行则两流互相卡顿------执行完 a t a_t at 后机器人空等模型去噪下一 chunk，把模型延迟变成控制延迟。

Foresight Reasoning 让两流异步：执行 a t a_t at 时，预测流在 a t a_t at 的真实观测返回前就备好下一动作 chunk a t + 1 a_{t+1} at+1。它先把当前执行中的 a t a_t at 追加到最新反馈接地的缓存 C t C_t Ct（概括接地历史 ( z ≤ t , a < t ) (z_{\le t},a_{<t}) (z≤t,a<t) 的 KV cache 条目）得 C t m p = C t ∪ { a t } C_{tmp}=C_t\cup\{a_t\} Ctmp=Ct∪{at}，再由策略自身的 video 专家跑一次 forward-dynamics（在线由策略自身完成、而非用 tokenizer 冻结的 FDM）想象当前 chunk 的视觉结果：

z ^ t + 1 = F D M θ ( C t ∪ { a t } ) = v θ v i d ( z ≤ t , a ≤ t ) \hat{z}{t+1}=\mathrm{FDM}\theta\big(C_t\cup\{a_t\}\big)=v_\theta^{vid}\big(z_{\le t},a_{\le t}\big) z^t+1=FDMθ(Ct∪{at})=vθvid(z≤t,a≤t)

动作专家再从 C t m p ∪ { z ^ t + 1 } C_{tmp}\cup\{\hat{z}{t+1}\} Ctmp∪{z^t+1} 解码下一动作 chunk，于是 a t + 1 a{t+1} at+1 在 a t a_t at 执行完时就绪，把预测延迟隐藏在运动背后。但「往前跑」不是免费的：若预测流持续把自己的 z ^ t + 1 \hat{z}_{t+1} z^t+1 喂回上下文，rollout 就变开环------视频骨干偏好时序平滑，会继续这条幻觉轨迹、忽略物理反馈并漂移到无法反应。下图展示这一异步推理/执行流。

因此每当真实观测到来就重新接地 ： a t a_t at 完成后，返回的观测编码为真实潜变量 z t + 1 z_{t+1} zt+1，在 KV cache 中覆盖 陈旧的预测上下文 z ^ t + 1 \hat{z}{t+1} z^t+1（连同已执行动作 chunk a t a_t at），下一预测步从反馈接地的 C t + 1 C{t+1} Ct+1 出发而非从未验证的想象潜变量。异步 rollout 因此保持闭环------一个「预测---校正」步：快预测流向前起草、每个真实观测把它拉回。为训练 video 专家胜任此角色，后训练加 forward-dynamics 接地损失，监督它从反馈接地上下文与已执行动作预测下一视觉潜变量：

L F D M = E t , s , ϵ ∥ v θ v i d ( z t + 1 ( s ) , s ∣ z ≤ t , a ≤ t ) − ( z t + 1 − ϵ ) ∥ 2 \mathcal{L}{FDM}=\mathbb{E}{t,s,\epsilon}\Big\\big\\\|v_\\theta\^{vid}\\big(z_{t+1}\^{(s)},s\\mid z_{\\le t},a_{\\le t}\\big)-(z_{t+1}-\\epsilon)\\big\\\|\^2\\Big LFDM=Et,s,ϵ vθvid(zt+1(s),s∣z≤t,a≤t)−(zt+1−ϵ) 2

这一目标的条件与异步推理时的式 (29) 一致；与只条件于过去动作 a < t a_{<t} a<t 的视频损失 L v i d \mathcal{L}{vid} Lvid 不同，它额外喂入已执行动作 a t a_t at（即 a ≤ t a{\le t} a≤t），把 video 专家变成当前转移的真正 forward-dynamics 预测器 。与 Multi-Stream LLMs 的流承担输入/输出角色不同，本文的流承担预测的未来世界状态，故闭环控制的关键在于用真实观测对其重新接地------这一步在语言设定中没有对应物。Foresight Reasoning 是独立于 MCP 的推理期方案，二者可分别启用。

4.9 后训练：一致性蒸馏与三层推理加速

扩散蒸馏。 后训练策略默认按 5 步（video 专家）/10 步（action 专家）沿 PF-ODE 积分速度场采样。为实时化，蒸馏为少步一致性模型： f ξ ( x ( s ) , s ) f_\xi(x^{(s)},s) fξ(x(s),s) 把 PF-ODE 轨迹上任意点直接映到干净端点，满足自一致性 f ξ ( x ( s ) , s ) = f ξ ( x ( s ′ ) , s ′ ) f_\xi(x^{(s)},s)=f_\xi(x^{(s')},s') fξ(x(s),s)=fξ(x(s′),s′) 与边界条件 f ξ ( x 1 , 1 ) = x 1 f_\xi(x^{1},1)=x^{1} fξ(x1,1)=x1。取后训练模型 v θ v_\theta vθ 为冻结教师，把 s ∈ 0 , 1 s\in0,1 s∈0,1 离散为网格，对干净目标 x x x 与噪声 ϵ \epsilon ϵ 形成噪声点并做一步教师 Euler 步向数据端，再训练学生在相邻两点给出一致预测：

L C D = E x , ϵ , n d ( f ξ ( x ( s n ) , s n ) , f ξ − ( x \^ ( s n + 1 ) , s n + 1 ) ) \mathcal{L}{CD}=\mathbb{E}{x,\epsilon,n}\Bigd\\big(f_\\xi(x\^{(s_n)},s_n),f_{\\xi\^-}(\\hat{x}\^{(s_{n+1})},s_{n+1})\\big)\\Big LCD=Ex,ϵ,nd(fξ(x(sn),sn),fξ−(x\^(sn+1),sn+1))

其中 ξ − = s t o p g r a d ( ξ ) \xi^-=\mathrm{stopgrad}(\xi) ξ−=stopgrad(ξ) 是 EMA 目标网络， d d d 取平方 ℓ 2 \ell_2 ℓ2。两专家均蒸馏，把 video 与 action 采样器从 5/10 步各降到 2 步------部署时每个 chunk 仅两次函数求值。

推理加速分三层，对应推理栈不同部分。模型层：低精度编译执行------用 ONNX-based TensorRT 把 PyTorch 图转成优化执行计划、做硬件相关 kernel 选择与算子融合，KV cache 等运行期状态作为显式 engine 输入/输出以满足静态接口，并用 NVIDIA Model Optimizer 插入 FP8 量化节点（首尾层保 BF16，block 内线性层 FP8）。序列层：长程注意力优化------用 paged/ragged KV-cache 管理避免历史 token 反复 padding/repacking，缓存容量由滑动窗长决定、就地更新，并用 FlashInfer 注意力插件直接消费该紧凑表示、不物化 padded 稠密张量。系统层：运行期开销削减------缓存可复用运行期对象（接受的 TensorRT bindings 与 shape 配置、运行期张量与层视图、预计算交叉注意力 KV 状态、frame-id 与 scheduler-step 元数据），跳过执行状态未变时的冗余工作，并移除不必要的 CPU-GPU 同步点。三层互补，分别针对 transformer 前向计算、长程历史状态注意力、围绕模型执行的重复运行期开销。

五、实验与证据：结果能支撑到什么程度

5.1 网络与训练规模

为便于评估证据强度，先列关键实现细节。骨干为从零训练的 DiT，作用于语义 tokenizer 的 96 通道潜空间；视频潜量用 1 × 2 × 2 1\times2\times2 1×2×2 patch 嵌入，30 个 transformer block、视频隐维 2048、联合自注意力在 3072 维注意力空间（24 头×128）。视频流前馈为 128 路由 SwiGLU 专家、top-8、1 共享专家、每专家中间维 512；动作流用稠密 FFN。动作空间统一为 30 维（按数据集分位归一化、缺失维零填充并掩码），动作隐维 768。生成按 chunk 自回归、自注意力为带滑动窗的 block-causal；训练时 chunk size 从 1--4 帧均匀重采样、注意力窗从 1--64 chunk，单模型即支持可变 chunk size 与历史长度（评测用 chunk size 2、64-chunk 窗）。为降低 rollout 的 exposure bias，以 0.5 概率用随机小噪声级的历史帧替换干净历史帧。参数量（约）：视频骨干 13.0B 总/1.9B 激活；动作专家 0.6B；MCP 头 1.7B；合计约 15.3B 训练参数（推理时每 token 约 2.5B 激活）。优化用 Muon + AdamW 混合（2D 权重矩阵走 Muon，其余走 AdamW），FSDP 全参分片、bf16 混精 + FP32 梯度归约、全激活检查点。

5.2 真实世界部署

真实世界评测覆盖四类日常操作任务：水果分拣（把苹果、梨、橙放入篮）、笔收集（依次把三支笔放入杯）、抽屉整理（开抽屉并把桌面物体收入）、盘子交接（推盘到中心、取纸垫放盘上、再把目标物放垫上）。每任务 20 段遥操作示教，训练单一通用策略 （多任务监督微调）而非每任务一模型；评测时同一 checkpoint 部署于所有任务，报告每任务成功率与平均任务进度。基线取 VLA 与 VA 两族代表：VLA 以 π 0.5 \pi_{0.5} π0.5 为主，VA 对比 LingBot-VA。结果如下图。

如图所示，LingBot-VA 2.0 在真实世界整体最强，成功率与任务进度均优于 VLA 与前代 VA 基线。相较 π 0.5 \pi_{0.5} π0.5，在需要更长程视觉接地的连续操作任务上提升尤为明显------通过显式预测未来视觉状态，它能跨多步交互维持任务级上下文，视频接地也改善了局部操作精度。相较 LingBot-VA 的增益来自因果 video-action 预训练：在下游策略微调前暴露于更可泛化的 video-action 对应关系，这种更广预训练在更具挑战的多任务设定（需跨物体/场景/流程泛化）下尤其受益。需要诚实指出：真实世界结果以「成功率 + 任务进度」呈现，但本论文未给出各基线数值表与统计显著性、样本量与方差，证据强度属于「定性 + 系统级对比」，而非可独立复算的硬数字------这是读者应保持的合理怀疑。

5.3 仿真：RoboTwin 双臂基准

仿真评测在 RoboTwin 双臂基准上做，含 clean 与 domain-randomized 两设置，报告任务成功率。沿用 LingBot-VA 的多任务训练设定：所有模型在 2500 段 clean 示教（每任务 50）+ 25000 段重度随机化示教（每任务 500）上训练。结果见表 1。

表 1：RoboTwin 2.0 双臂成功率（%），clean 与 domain-randomized 两设置（clean/randomized 对应 LingBot-VA 报告的 easy/hard）。

方法	Clean	Randomized	平均
X-VLA	72.9	72.8	72.9
π 0.5 \pi_{0.5} π0.5	82.7	76.8	79.8
Motus	88.7	87.0	87.9
LingBot-VA	92.9	91.6	92.2
LingBot-VA 2.0（本文）	93.8	93.4	93.6

作者据此声称：LingBot-VA 2.0 在两设置上均最佳；相较 VLA 基线 π 0.5 \pi_{0.5} π0.5，平均成功率提升 14.0 个百分点，表明原生 video-action 预训练为双臂操作提供更强物理接地；相较最强 VA 基线 LingBot-VA（92.2%）进一步提至 93.6%；clean 与 randomized 间差距仅 0.6 个百分点，提示模型在视觉与物理域变下保持稳健控制。解读层面需注意两点：一是相对前代 LingBot-VA 的提升幅度（约 1.4 个百分点）并不大，说明前代已很强、本代主要价值在「原生路线可行且不退步」而非「碾压前代」；二是仿真到真实的迁移未被该表直接覆盖，真实世界证据需回到 5.2 节定性结论。

5.4 In-Context Learning 定性演示

为定性考察能否用视觉示范（而非文本指令）作任务上下文，作者另设 ICL 研究。桌面场景含三个盘子（绿、白、银）与七件物体；训练只采四个任务（白纸杯入白盘、银咖啡杯入银盘、中间绿梨入绿盘、左侧银杯入白盘），每任务 15 段示教，微调预训练模型。测试在新任务组合上：策略收到人类参考视频作示范上下文与当前机器人观测，不更新参数执行任务。四个未见任务（葫芦入绿盘、白纸杯入银盘、银咖啡杯入白盘、银杯旁绿梨入白盘）均不在训练集中。这一设定考察 video-action 骨干能否从上下文视频抽取流程线索并迁移到新任务组合、物体排列与物体实例。下图展示这四个未见任务的 rollout。

如图所示，这一演示支持「以人类视频作免参数少样本适配」的主张，但属于定性案例展示，未给出成功率/统计对比，证据等级应理解为「能力存在性证明」而非「量化优势」。

5.5 消融

语义视觉-动作 Tokenizer 消融。 为隔离 tokenizer 作用，对每变体从零训练 1.3B video-action 模型，WAN2.2 VAE 基线与本文 tokenizer 用同等 token 数训练、初始化同一下游架构，再做相同 RoboTwin 后训练并在官方 Easy/Hard split 评测。表 2 显示，把重建型 WAN2.2 VAE 换成本文 tokenizer 在各预测视界上一致提升 RoboTwin 表现，且视界越长增益越大------提示语义视觉-动作 tokenization 保留了更有利于 world-action 建模与下游控制的状态信息。

表 2：RoboTwin 2.0 上 1.3B video-action 模型在不同视觉 tokenizer 下的成功率（%），按 50 任务的 Easy/Hard split。

指标	WAN2.2 VAE Easy	WAN2.2 VAE Hard	本文 tokenizer Easy	本文 tokenizer Hard
A v e r a g e h o r = 1 Average_{hor=1} Averagehor=1	81.1	78.4	86.2	83.1
A v e r a g e h o r = 2 Average_{hor=2} Averagehor=2	75.5	73.9	85.7	84.0
A v e r a g e h o r = 3 Average_{hor=3} Averagehor=3	67.2	68.0	92.0	85.4
A v e r a g e 50 T a s k s Average_{50\ Tasks} Average50 Tasks	78.0	76.0	86.6	83.1

多块预测消融。 比较 5B video-action 基线在相同数据与优化下、仅一变体启用 MCP 的后训练动态。下图给出 RoboTwin 上 12 fps 与 50 fps 的训练曲线。

如图所示，MCP 一致改善优化效率，收敛更快、在 12 与 50 fps 均达更高最终成功率；50 fps 下优势最显著：5k 训练步后 MCP 变体在 randomized 设定已超基线 29.7 个百分点，并用 20k 步即匹敌基线 45k 步精度，对应 2.3 × 2.3\times 2.3× 训练加速。这是全文对 MCP 价值最硬的单条量化证据。

推理加速消融。 表 3 报告加速流水线的累积效果。Async Hz 按 ( 1000 / t c h u n k ) × K (1000/t_{chunk})\times K (1000/tchunk)×K 算， t c h u n k t_{chunk} tchunk 为每 chunk 推理毫秒、 K K K 为每 chunk 内低层控制步数（实验取 K = 32 K=32 K=32）。

表 3：推理加速，不同加速技术下的推理时间与异步控制频率。

加速技术	推理时间 (ms/chunk) ↓	异步频率 (Hz) ↑
BF16 PyTorch 异步 rollout 基线	927	35
+ 一致性蒸馏	466	69
+ 低精度编译执行	369	87
+ 长程注意力优化	272	118
+ 运行期开销削减	142	225

从 BF16 PyTorch 异步 rollout 基线出发，一致性蒸馏先减少每 chunk 去噪步数（927→466 ms）；低精度编译执行用 FP8 TensorRT 引擎降模型执行层延迟（→369 ms）；长程注意力优化用 paged/ragged KV-cache + FlashInfer 注意力插件降序列层延迟（→272 ms）；运行期开销削减摊销重复主机端准备与同步（→142 ms）。总体把异步控制频率从 35 Hz 提到 225 Hz，端到端 6.5 × 6.5\times 6.5× 加速。这是「高频闭环」主线的落地证据，也是本文最具工程说服力的数字。

5.6 真实世界演示

最后一组定性演示（下图）覆盖 video-action 建模的不同侧面：桌面整理考察长程规划（解析杂乱桌面、跨时维持物体状态、排序多步清理）；传送带考察时序接地与动态预测（预判移动物体、把每动作 chunk 与传送带运动同步）；芯片拾取考察无触觉传感下的细粒度操作（视觉引导轻柔夹取薄物）；空气曲棍球考察快速推理与反应控制（快速预判 puck 轨迹、从近期观测闭环）。

如图所示，这四个演示把前面各模块的能力串成一个端到端闭环体验，但与 5.4 同理，属定性案例展示，应理解为能力覆盖面与系统可部署性的佐证，而非可复算的基准结论。

六、这篇工作的边界与可复现性

作者明确承认的局限（见结论）：规划器与策略目前分别训练、经固定接口耦合，更紧的联合训练或可进一步改善长程一致性；潜在动作空间从被动视频学得，交互或强化信号或可将其向控制方向磨锐；预训练语料与稀疏骨干的进一步扩展、以及双臂操作之外更广 embodiment 覆盖，是通向通用具身基座的自然下一步。

基于公开信息可推断的边界与可复现性约束：

• 真实世界证据偏定性：5.2 节真实世界结果以图示呈现、未给出各基线数值表与方差/显著性，难以独立复算；仿真证据（RoboTwin）则给出了完整数字表，证据强度更高。
• 相对前代提升幅度有限：RoboTwin 上相对 LingBot-VA 仅约 +1.4 pp，本文更主要的主张是「原生路线可行且不退步、并在效率上大幅领先」，而非在精度上碾压前代。
• 基座规模与训练成本未充分披露 ：15.3B 总参、13B MoE、网络规模图像/视频 + 数千小时机器人/人类数据，复现需可观算力；Muon+AdamW 混合优化、FSDP、全激活检查点等系统细节虽给出，但数据混合权重调度 π ( τ ) \pi(\tau) π(τ) 的具体曲线未公开。
• 工程栈复现门槛高：225 Hz 依赖 TensorRT/FP8、FlashInfer、paged KV-cache、一致性蒸馏与 Foresight Reasoning 的协同，任一缺位都会显著降低频率；这些工程组件的可复现性受硬件/闭源工具链制约。
• 潜在动作与对齐的脆弱点：语义 tokenizer 依赖冻结 Perception Encoder 作教师、潜在动作由 IDM/FDM 自监督学得，其控制相关性的「好坏」最终需由下游控制兜底验证------表 2 的视界越长增益越大是支持这一点的正面证据，但潜在动作空间的语义可控性仍是可质疑的设计假设。
• ICL/HCT 的迁移前提：ICL 数据由 VLM 编辑 + 视频生成模型合成，其「任务语义保持」由 VLM 打分过滤保证，合成视频的物理合理性偏差是否会污染共享动力学，尚需更系统的消融。

七、如果继续研究/落地，应该关注什么

• 规划器-策略联合训练：当前两者经固定接口解耦，把规划器的子任务上下文变成可微条件、与策略端到端联合优化，是改善长程一致性的直接方向；需解决不同频率与异步缓冲带来的梯度路径问题。
• 潜在动作的交互式/强化磨锐 ：从被动视频学得的 ℓ t \ell_t ℓt 可作为 RL 或交互式微调的初始动作空间，把「能解释转移」进一步推向「能驱动控制」；这是把 world-model 表征与策略优化打通的关键。
• 加速栈的解耦复用：三层加速（编译/注意力/运行期）是可独立复用的工程资产，对任何自回归扩散策略都适用；Foresight Reasoning 的「预测---校正」范式可迁移到语言/世界模型的多流推理，但需补上「真实观测重新接地」这一具身专属机制。
• embodiment 扩展与跨本体动作空间 ：当前统一动作布局以双臂末端执行器为锚，向移动操作、灵巧手、腿式本体扩展时， Φ \Phi Φ 重定向与 per-domain 动作头的设计需重新定义。
• 评测体系补全：补真实世界数值表与统计显著性、补仿真→真实迁移的量化指标、补 ICL 的成功率而非仅案例展示，是把现有定性主张转成可被社区独立验证的硬证据的当务之急。

八、术语与概念速查

术语	解释
MoT（Mixture-of-Transformers）	视频与动作两模态由两专家处理、共享因果自注意力、各自独立前馈通路的结构，本文基座的骨架。
潜在动作 ℓ t \ell_t ℓt	由 IDM 从相邻视觉潜变量推断的紧凑转移变量（ d ℓ ≪ dim ⁡ ( z ) d_\ell\ll\dim(z) dℓ≪dim(z)），无需动作标签，作为 video-action 模型的动作 chunk a t a_t at。
IDM / FDM	逆/前向动力学模型：IDM 从 ( z t , z t + 1 ) (z_t,z_{t+1}) (zt,zt+1) 预测 ℓ t \ell_t ℓt；FDM 把 ℓ t \ell_t ℓt 解码为传输 K t K_t Kt 与残差 δ t \delta_t δt 重建下一潜变量。
action chunk a t a_t at	与一次潜状态转移 z t → z t + 1 z_t\to z_{t+1} zt→zt+1 对齐的一块低层动作（含 f t f_t ft 个原始控制指令），不是单个控制命令。
RepWAM / Zero-WAM / Next Forcing	本文 tokenizer/ICL/MCP 分别沿用其思路的三项先前工作，是「语义 tokenizer+潜在动作」「视频 ICL」「多块预测」的方法源头。
Perception Encoder	用作语义对齐教师的冻结视觉基础模型，经 W a l i g n W_{align} Walign 投影后按时间平均池化匹配特征。
group-limited top-k 路由	先按 router 分数选若干专家组、再在组内选 k 个专家的稀疏 MoE 路由，本文 N e = 128 , k = 8 N_e=128,k=8 Ne=128,k=8。
Loss-Free Balancing / auxfree	无辅助损失的负载均衡：用逐专家校正偏置 b b b 按 token 计数更新，不向主损失注入均衡梯度。
MCP 视界权重	( w 1 , w 2 , w 3 ) = ( 0.5 , 0.2 , 0.1 ) (w_1,w_2,w_3)=(0.5,0.2,0.1) (w1,w2,w3)=(0.5,0.2,0.1)，未来 chunk 越远权重越小，沿用 Next Forcing。
coarse-to-fine 调度 π ( τ ) \pi(\tau) π(τ)	多任务共训的任务采样分布：早期重 T2I、中期转 T2V、晚期集中于 TI2VA/ICL/HCT，全程保留所有目标的非零正则。
Foresight Reasoning	预测流与执行流异步、执行当前 chunk 时并行预测下一 chunk、并用真实观测对 KV cache 反复重新接地的闭环推理方案。
一致性蒸馏（CD）	把多步 PF-ODE 采样蒸馏为少步一致性模型，本文把 video/action 采样器从 5/10 步各降到 2 步。
HCT（人机协同训练）	第一人称人类视频与机器人数据共训于共享世界模型、仅 per-domain 动作编/解码器不同，部署只用机器人分支。
π 0.5 \pi_{0.5} π0.5 / LingBot-VA / Motus / X-VLA	评测中的对比基线： π 0.5 \pi_{0.5} π0.5 为 VLA 主基线，LingBot-VA 为前代 VA 基线，Motus 与 X-VLA 为 latent-action / VLA 对照。

九、拓展思考：值得继续扩展研究与思考的创新点

• 「原生 vs 改造」作为方法论命题的检验：本文把「双向骨干事后因果化会侵蚀先验」作为从零重做的核心理由，但「侵蚀」本身尚未被定量证伪/证实------设计一个可测量「先验侵蚀度」的探针（如在因果化前后测通用视频预测与控制迁移的对比），能把这一方法论命题从主张升级为可证伪的科学结论。
• 潜空间几何与可控性的关系：语义对齐让潜变量带语义、潜在动作让其带控制变量，但「语义各向同性」与「动作可控方向」未必同构------研究语义潜空间中动作流形的几何结构，可能解释为何「视界越长 tokenizer 增益越大」。
• Foresight Reasoning 的漂移界：异步预测必然引入「想象---真实」间隙，可推导一个 rollout 漂移上界与重新接地频率的关系，给出「多久必须用真实观测校正一次」的理论指导，而非靠经验调参。
• MCP 与 Foresight 的统一视角：MCP 在训练时监督多未来 chunk、Foresight 在推理时并行预测下一 chunk，二者实质都在「用主表征预测多步未来」------把它们纳入同一「预测-接地」框架联合设计，可能同时改善训练监督与推理延迟。
• 从「会想象未来」到「会规划因果干预」 ：当前 video-action 模型预测的是未来视觉状态，但控制本质上是对因果干预的选择；把「想象未来」与「反事实想象（若执行另一动作会怎样）」结合，是通向更具规划性具身智能的开放方向。
  「视界越长 tokenizer 增益越大」。
• Foresight Reasoning 的漂移界：异步预测必然引入「想象---真实」间隙，可推导一个 rollout 漂移上界与重新接地频率的关系，给出「多久必须用真实观测校正一次」的理论指导，而非靠经验调参。
• MCP 与 Foresight 的统一视角：MCP 在训练时监督多未来 chunk、Foresight 在推理时并行预测下一 chunk，二者实质都在「用主表征预测多步未来」------把它们纳入同一「预测-接地」框架联合设计，可能同时改善训练监督与推理延迟。
• 从「会想象未来」到「会规划因果干预」：当前 video-action 模型预测的是未来视觉状态，但控制本质上是对因果干预的选择；把「想象未来」与「反事实想象（若执行另一动作会怎样）」结合，是通向更具规划性具身智能的开放方向。