让动作先接受“未来检验”：ThinkWorld 如何用世界想象强化机器人推理

写在前面

【从零走向AGI 】旨在深入了解通用人工智能（AGI）的发展路径，从最基础的概念起，逐步构建完整的知识体系。

项目地址 🔗：https://github.com/AI-mzq/From-Zero-to-AGI.git

魔方AI空间

猫先生

从零走向AGI

面试面经

AIGC算法岗/开发岗面试面经交流社群 （涵盖AI Agent、AIGC图像创作、AI视频、LLM大模型、AI多模态、数字人、传统深度学习、具身智能等AIGC面试干货资源）欢迎大家加入：https://t.zsxq.com/YtJ09

导读

机器人演示数据昂贵、覆盖有限；人类视频很多，却没有机器人可直接执行的动作标签。ThinkWorld 的切入点不是把人的手部轨迹硬映射成机器人的关节指令，而是把动作表示为人和机器人都能使用的 Chain-of-Dynamics（CoD，动力学链），再预测这串运动会带来怎样的未来表征。预测越贴近视频里真实发生的变化，这条 CoD 在强化学习中得到的奖励越高。由此，人类视频即使没有动作标注，也能通过"前后状态变化"参与动作推理训练。

论文的论证顺序是：先定义共享的运动 token 表示；再训练模型生成 CoD 并想象其结果；最后用预测未来与真实未来的一致性做强化信号。仿真结果显示，模型在 LIBERO-PRO 平均成功率为 55.6%；真机实验则报告六种任务---设置组合的宏平均成功率 94.4%。后者来自 120 次试验，按组合分别计算成功率后再平均，不等于全部试验直接合并计算的 94.4%。

论文标题 ：ThinkWorld: World Imagination Reinforces Chain-of-Dynamics Reasoning

论文地址 ：arXiv:2610.37666

项目主页 ：ThinkWorld Project

机构：NVIDIA、KAIST

论文版本 ：arXiv v1，2026 年 10 月 27 日

图1｜论文原图1： ThinkWorld 以共享运动表示连接人类视频和机器人示范，再用"想象未来是否符合真实变化"训练可迁移的动作推理。图中还概括了真机泛化和技能组合实验。来源：论文 Figure 1。

1. 研究问题：人类视频很多，为什么不能直接教机器人？

VLA 模型需要视觉、语言和动作之间的对应关系。机器人示范包含可执行动作，但采集成本高，而且机器人形态、任务和环境有限；人类视频覆盖的物体与操作方式更丰富，却通常只记录画面，不包含机器人控制器需要的动作标签。

一种简单想法是估计人的手腕轨迹，再重定向到机器人。但不同本体的自由度、手爪结构和运动范围并不相同，轨迹转换需要额外的姿态估计与运动学处理，也容易把"人的动作长什么样"误当成"机器人应该怎样控制"。另一种无监督视频表征可能学到相机运动或外观变化，却不一定形成物理上可解释的动作变量。

ThinkWorld 把问题改写为：**能否学到一个人和机器人都能表达的运动词汇，并用动作造成的可观察结果来检验这个词汇？**这里的"共享"指共享抽象运动 token 和变化语义，不是说人体与机器人拥有相同的关节或运动学。

2. 核心表示：Chain-of-Dynamics（CoD）

CoD 是一串离散运动 token，用来表示从当前状态到未来状态之间的中间运动变化。论文先从有动作标签的人类和机器人数据中学习运动 tokenizer，把末端执行器的归一化位移等运动信息离散化；人体手部/手腕运动和机器人动作由此映射到共同的 token 空间。随后视觉语言模型（VLM）根据任务指令、观测历史和本体状态，自回归地生成 CoD。

这和直接输出一串自然语言思维链不同：CoD 的 token 是从动作轨迹学习到的、具有运动锚定的表示。模型之后仍要把它转换成机器人可执行的连续控制量。因此，CoD 的作用是形成可迁移的中间动作表示，而不是取代底层控制器。

3. 方法：生成动作思路，再用未来结果给它打分

论文方法分为两个阶段，分别回答"模型如何学会说 CoD"与"无动作标签视频如何继续训练 CoD"。

3.1 阶段一：用有标签示范建立动作锚点

输入包括任务语言、视觉观测与历史、本体状态等信息。VLM 先生成 CoD；轻量级未来解码器则在 CoD 后接入可学习的 future query，根据当前上下文和 CoD 预测未来视觉表征。此时，训练样本中的真实未来帧只用于构造监督目标，不作为模型输入。

值得注意的是，模型预测的不是一段逼真的 RGB 视频，而是冻结视觉特征模型（论文使用 DINOv3）空间中的未来特征。训练目标关心场景结构和运动变化是否对得上，不必逐像素复原光照、纹理等外观细节。监督损失由 CoD token 的交叉熵和未来特征预测损失组成：前者让动作表示贴近示范，后者要求这条动作思路能解释随后的状态变化。

图2｜论文原图2： 上半部分先以动作标签训练 CoD 与未来预测；下半部分从人类视频和机器人视频采样多条 CoD，比较各自想象未来与真实未来，再通过强化学习更新动作推理模型。未来预测模块属于训练机制，推理部署时不需要保留这条额外计算路径。来源：论文 Figure 2。

3.2 阶段二：用真实视频结果强化 CoD

对没有动作标签的视频，ThinkWorld 可以从同一观测和指令采样多条候选 CoD，分别预测未来特征。它再把预测结果与视频实际后续帧的特征比较：越能解释真实状态变化的 CoD，奖励越高；与真实变化不符的候选则得到较低奖励。论文采用 GRPO 做强化优化，同时混合监督 replay，降低强化训练破坏已有动作 grounding 的风险。

强化奖励并非"模型自己想象、自己判定正确"。判断依据来自视频中真实发生的未来观测。为了减少静态背景对打分的干扰，论文还采用运动增强的特征相似度，重点评估发生变化的区域。强化阶段只更新 VLM，其他组件保持冻结。

猫先生认为：ThinkWorld 真正有意思的不是给机器人加了一个在线"脑内模拟器"，而是把世界模型变成了动作表示的训练裁判。它不要求人类视频提供机器人动作标签，只要求动作思路能够解释"后来世界确实变成了什么样"。

3.3 训练时想象，部署时仍是 VLA

这是理解论文时最重要的边界。CoD 生成和未来预测服务于训练阶段；部署执行任务时，ThinkWorld 不需要先生成未来图像/特征、再据此在线筛选动作。训练好的模型按常规 VLA 路径产生动作，底层动作专家/解码器输出连续控制。

所以"未来是否合理"是训练中塑造动作推理的一种监督与奖励机制，不应误读成系统每一步都显式做模型预测控制，也不意味着已证明模型能零样本控制任意未见机器人。真机结果是在论文指定的 YAM 双臂平台与任务设置中取得的。

4. 实验：改进集中在分布变化，而非所有场景都领先

4.1 LIBERO 与 LIBERO-PRO

作者报告 ThinkWorld 在标准 LIBERO 上平均成功率为 97.3%。在训练于标准 LIBERO、测试时引入物体、位置、语义、任务和环境变化的 LIBERO-PRO 上，平均成功率为 55.6%，高于表中 π0.5 的 53.2% 和 VLA-JEPA 的 48.5%。优势主要出现在更强的任务与环境偏移：ThinkWorld 的 task-shift 为 31.9%，environment-shift 为 60.9%；相对 VLA-JEPA 分别高 11.1 和 19.9 个百分点。

评测	ThinkWorld	对照结果	应如何理解
LIBERO 平均	97.3%	---	标准基准上表现强，但不是泛化结论本身
LIBERO-PRO 平均	55.6%	π0.5：53.2%；VLA-JEPA：48.5%	多类分布变化下的平均成功率
LIBERO-PRO 任务偏移	31.9%	VLA-JEPA：20.8%	任务/目标组合变化更难，绝对成功率仍有限
LIBERO-PRO 环境偏移	60.9%	VLA-JEPA：41.0%	环境变化下差距较明显

这些数字说明方法在论文设定的分布外基准上有提升，但 55.6% 也意味着仍有相当比例的任务失败；不能把平均指标表述成"已解决泛化"。此外，LIBERO-PRO 的每个子项难度差异很大，平均值会掩盖具体偏移类型。

4.2 真机泛化与技能组合

真机实验使用双臂 YAM，覆盖颜色匹配、杯子悬挂、物体分类等三类任务，并在每类任务下测试域内与域外设置。论文给出 60/60 次域内成功、52/60 次域外成功。按六个任务---设置组合分别计算成功率，再对组合做宏平均，得到 94.4%；如果把 112 次成功除以 120 次总试验，微平均则是 93.3%。两种统计回答的问题不同，引用 94.4% 时应保留"宏平均"口径。

图3｜论文原图3： 真机结果按任务和分布设置展示，ThinkWorld 在域外测试中保持较高成功率。成功率来自论文指定的平台、任务和有限试验次数，不代表所有机器人或所有任务的普遍表现。来源：论文 Figure 3。

技能组合实验进一步测试人类视频能否提供"组合知识"：机器人示范只包含 OPEN、PUT-LEFT/RIGHT、CLOSE 等原子技能，而人类视频展示完整动作序列。模型随后在机器人上完成类似"打开---放入物体---关闭"的组合。这支持人类视频可以补充动作标签缺失的长程行为信息，但实验范围仍是论文选择的有限技能与任务。

图4｜论文原图4： 人类演示给出原子技能的组合顺序，机器人数据提供可执行的单项技能，ThinkWorld 尝试将两者迁移到一条完整机器人执行轨迹中。来源：论文 Figure 4。

4.3 消融与证据强度

消融实验中，基线 Qwen 的 LIBERO-PRO 平均成功率为 40.1%；加入历史观测为 40.7%，加入未来预测为 50.4%，再加入 CoD 为 54.4%，最后加入强化学习达到 55.6%。这组结果支持未来表征预测和 CoD 是主要增益来源；强化学习在该消融配置中的增益为 1.2 个百分点，属于进一步改善，而不是单独带来全部提升的决定性因素。

论文还报告，在一个控制变量的人类视频数据实验中，机器人数据基线为 45.4%，加入 50% 人类视频后为 47.8%；相对匹配的 robot-only 对照，增益约 1.2 个百分点。它说明无标签人类视频有帮助，但也提醒我们：跨本体迁移的增益不是只靠"人类视频数量"就能保证，效果依赖动作表示、数据构成和训练方案。

5. 贡献、局限与我的判断

主要贡献有三点：第一，用 CoD 把动作中间变化作为人类与机器人共享的离散表示；第二，用真实未来特征为无动作标签视频提供动作推理的强化信号；第三，把世界想象放在训练期，使部署阶段不必承担未来预测的额外推理开销。

局限也很明确：真机验证集中在 YAM 双臂及少数任务；仿真与真实系统的覆盖范围仍有限；模型不等于可即插即用的跨本体通用控制器。论文仅报告单个训练随机种子，评测区间不能代替不同训练种子或检查点间的方差。训练需要多阶段数据处理、运动 tokenizer、视觉特征模型与强化学习，系统复杂度和算力成本也不低。项目主页列出 4,276 小时、8 个数据集、44% 无动作标签的人类第一视角视频；这是作者报告的数据规模，不应当作已独立审计的统计。

我的判断：ThinkWorld 的价值不在于宣称机器人已经能"看视频就学会任何动作"，而在于提供了一个中间监督接口：把动作写成可预测后果的动力学链，再用真实视频的后续状态检验它。它把人类视频从"只能学视觉语义"的数据源，推进到能监督动作推理的方向。后续最值得关注的，是更广泛本体上的迁移、更多随机种子与更大规模真机评测，以及 CoD 是否真的比其他共享动作表示更稳健。

6. 总结

ThinkWorld 的训练闭环可以概括为：**用机器人示范给动作 token 建立锚点，用人类和机器人视频提供未来状态，再强化那些能解释真实变化的 CoD。**它以"预测结果是否对得上"连接动作表示与世界模型。论文在 LIBERO-PRO 和 YAM 真机实验中报告了有竞争力的泛化结果，但证据仍处于有限基准与有限本体范围内。读这项工作时，既要看到无标签视频监督的潜力，也要记住未来想象主要是训练期机制，而不是已经部署的通用在线规划器。

参考资料

Kim et al., ThinkWorld: World Imagination Reinforces Chain-of-Dynamics Reasoning, arXiv, 2026.
ThinkWorld 项目主页
论文原图：Figure 1--4，均来自 arXiv HTML v1。