具身智能的突破路径被认为与大型语言模型（LLM）高度相似，其核心在于发展强大的视频生成与理解模型，并进一步演化为"世界动作模型"。这一论断的核心依据在于，两者都遵循"从海量无标注数据中学习通用表示，并通过预测下一个基本单元来建模复杂序列"的核心范式。视频作为记录物理世界动态变化的最自然、最丰富的模态，是学习世界通用物理规律和因果关系的理想载体，而"世界动作模型"则是这一范式在具身智能领域的终极目标形态。
一、 核心范式相似性：自回归预测与通用表示学习
LLM的成功路径清晰地展示了一条通过大规模无监督预训练来获得通用能力的道路。
| 对比维度 | 大型语言模型 (LLM) | 具身智能/世界模型 (视频/世界动作模型) |
|---|---|---|
| 数据形态 | 海量、无标注的文本序列（网页、书籍、代码等）。 | 海量、无标注的视频序列（互联网视频、机器人第一视角录像、仿真环境渲染等）。 |
| 基本建模单元 | 离散的文本标记（Token），通过Tokenizer获得。 | 离散的视觉标记（Visual Token），通过VQ-VAE、VQ-GAN等视觉Tokenizer获得。 |
| 核心预训练任务 | 下一个标记预测（Next-Token Prediction）。模型通过预测被掩盖或后续的文本标记，学习语言的语法、语义、知识和逻辑。 | 下一帧预测 （Next-Frame Prediction）或帧补全（Frame Inpainting）。模型通过预测视频序列中的未来帧或缺失帧，学习世界的视觉外观、物体运动规律、物理交互和因果关系。 |
| 获得的通用能力 | 语言理解、生成、推理、代码编写等通用语言智能。 | 物理常识理解、场景动态推演、动作效果预测、反事实推理等通用物理世界智能。 |
| 模型架构趋势 | 统一的自回归Transformer架构（如GPT系列），处理文本生成、理解、代码等多种任务。 | 统一的、基于Transformer的多模态自回归架构（如Sora、Emu3），处理视频生成、理解、编辑，并逐步融合动作规划。 |
这种范式相似性的根本原因在于，文本和视频都是随时间展开的序列数据 。LLM通过预测下一个词来建模"语言宇宙"的规律，而视频模型则通过预测下一帧来建模"物理宇宙"的规律。Emu3等研究已经证明，仅使用下一个标记预测的目标，就能在图像、视频生成和理解任务上取得领先性能，这强烈暗示了自回归预测作为多模态通用智能基础范式的普适性。
二、 "世界动作模型"方案：视频模型的自然演进与核心技术原理
"世界动作模型"可以视为视频生成模型在功能和应用上的深度延伸，其目标是构建一个不仅能"看"懂世界，还能"想象"动作后果并"规划"行动的模型。其技术演进路径和核心原理如下：
1. 从视频生成到物理世界模拟
- 基础：视频生成模型 ：如Sora，展示了从文本或图像生成逼真、连贯、符合物理规律的长视频的能力。这证明了模型内部已经学习到了一个丰富的、可模拟的世界表示。
- 关键跃迁：引入动作与智能体 ："世界动作模型"在视频模型的基础上，将"动作"作为模型的一个原生输入或控制维度。模型不仅接收文本描述和初始图像，还接收一个表示智能体动作的序列。其训练目标变为：给定当前状态（图像帧）和一系列动作，预测执行这些动作后世界状态（后续视频帧）的演变。
- 核心技术：时空Patch与DiT架构 ：以Sora为代表的先进模型采用视觉Patch 作为基本单元，并结合扩散Transformer。时空Patch将视频在时间和空间上统一离散化，DiT架构则提供了强大的序列建模能力。这为统一处理外观、运动和动作指令奠定了基础。
python
# 简化的"世界动作模型"前向过程概念代码
class WorldActionModel(nn.Module):
def forward(self, initial_frame, action_sequence, text_prompt):
"""
initial_frame: 初始状态图像 [B, C, H, W]
action_sequence: 动作序列 [B, T_a, action_dim]
text_prompt: 文本指令 [B, text_len]
"""
# 1. 多模态编码与对齐
frame_tokens = self.visual_encoder(initial_frame) # 编码为视觉标记
action_tokens = self.action_encoder(action_sequence) # 编码为动作标记
text_tokens = self.text_encoder(text_prompt) # 编码为文本标记
# 所有标记对齐到同一语义空间，类似于CLIP
# 2. 构建统一的时空动作序列
# 将初始状态、动作指令、文本约束混合成一个序列
input_sequence = concat([frame_tokens, action_tokens, text_tokens], dim=1)
# 3. 自回归预测或扩散去噪
# 方式A：自回归预测后续的视觉标记序列（未来帧）
# 方式B：基于扩散模型，以输入序列为条件，去噪生成未来帧序列
predicted_future_tokens = self.transformer(input_sequence)
# 4. 解码为视频
future_frames = self.visual_decoder(predicted_future_tokens)
return future_frames # 预测的执行动作后的未来视频2. 实现"三重一致性"是突破关键
一篇119页的综述明确定义了世界模型应追求模态、空间、时间的三重一致性，这也是"世界动作模型"必须解决的挑战：
- 模态一致性：模型需确保文本指令、动作向量和视觉输出在语义上对齐。例如，文本"拿起杯子"对应的动作编码，应产生手部移动并接触杯子的正确视觉变化。这需要像CLIP这样的对比学习来对齐跨模态表示。
- 空间一致性：生成的场景必须符合3D几何与物理法则。物体在运动过程中体积、形状、遮挡关系应合理。这需要模型隐式或显式地学习3D表示，如通过NeRF或3D高斯溅射的原理来约束生成过程。
- 时间一致性：动作产生的影响必须符合因果律和动力学规律。推一个球，球应沿受力方向加速运动；撞击积木塔，塔应倒塌而非漂浮。模型需要在长序列中保持动态演化的连贯性和合理性。
3. 从被动生成到主动规划
成熟的"世界动作模型"将成为一个可交互的物理模拟器：
- 内部模拟（想象） ：智能体可以在模型中"想象"执行不同动作链的后果，进行零样本的试错，而无需在真实世界中冒险。
- 动作规划与优化：结合强化学习或搜索算法，智能体可以以达成某个文本描述的目标（如"把积木搭成塔"）为目的，在模型内部模拟中搜索最优动作序列。这实现了从"看到什么发生"到"让什么发生"的转变。
- 反事实推理：模型能够回答"如果当时做了不同的动作，结果会怎样？"这类问题，这是高级规划和因果理解的基础。
三、 依据总结与未来展望
因此，认为具身智能突破路径与LLM相似，核心在于视频和"世界动作模型"的依据是坚实且多层次的：
- 数据与任务范式相同：都依赖于海量无标注序列数据（文本/视频），并通过自回归预测下一个单元（词/帧）来学习通用规律。
- 架构统一趋势明显：Transformer已成为处理文本和视觉序列的共同基础架构，自回归或扩散模型正成为统一的多模态生成框架。
- 视频是世界的"文本"：视频天然封装了物理世界的对象、属性、关系、运动和变化，是学习通用世界模型最直接、信息密度最高的数据源。
- "世界动作模型"是功能延伸：在视频模型中加入动作作为条件输入和控制变量，是模型从被动观察走向主动交互、从生成内容走向规划行动的自然且必要的技术演进。
未来，构建强大的"世界动作模型"仍面临诸多挑战，如对长程复杂因果关系的建模、对罕见事件的覆盖、以及如何将高维视觉动作空间与低维控制指令有效关联等。然而，沿着这条与LLM成功高度相似的路径------扩大高质量视频数据规模、改进视觉Token化与序列建模架构、强化多模态对齐与一致性约束------被视为实现具身智能根本性突破的最有希望的途径。