机器人世界模型三类分类详解
Robotics 里「世界模型（World Model）」几乎成了万能标签：视频生成、物理仿真、机器人策略都能被这么叫。**NVIDIA Cosmos 3 技术报告（2026 年 6 月）**给出一套可落地的三层划分------Video World Model → Action-Conditioned World Model → World Action Model ------按 输入/输出是否含 Action、输出是否为可执行控制 拆开「看未来」「懂因果」「会出动作」三条线，便于对照各家产品到底落在哪一层。
速览
- VWM（视频世界模型） ：条件生成 未来视频/画面，底座多为视频生成模型。
- AWM（动作条件世界模型） ：给定 动作（含语言指令），预测环境如何变化；偏仿真/前向动力学。
- WAM（世界动作模型） ：直接生成 机器人动作 （常兼未来视频），本质是带世界预测的 Policy ；与口语中的 VLA 大量重叠、分类轴不同。
- 分家口诀 ：看 Action 在条件侧还是输出侧；主交付是视频/数据还是可执行控制。
- 原文 ：Cosmos 3 Technical Report；机器人学习视角：MARS Lab 综述。
目录
- [1. 为什么需要分类](#1. 为什么需要分类)
- [2. 形式化 I/O：三层怎么记](#2. 形式化 I/O：三层怎么记)
- [3. 三层分类总表](#3. 三层分类总表)
- [4. 第一层：Video World Model（VWM）](#4. 第一层：Video World Model（VWM）)
- [5. 第二层：Action-Conditioned World Model（AWM）](#5. 第二层：Action-Conditioned World Model（AWM）)
- [6. 第三层：World Action Model（WAM）](#6. 第三层：World Action Model（WAM）)
- [7. WAM、VLA 与 Policy：同一片海域的不同切法](#7. WAM、VLA 与 Policy：同一片海域的不同切法)
- [8. 演进关系、决策树与经典「世界模型」对照](#8. 演进关系、决策树与经典「世界模型」对照)
- [9. Cosmos 3 与「全能模型」](#9. Cosmos 3 与「全能模型」)
- [10. 原文与延伸阅读](#10. 原文与延伸阅读)
1. 为什么需要分类
同一词至少覆盖三类能力：
| 口语里的「世界模型」 | 实际在干什么 |
|---|---|
| 像 Sora / Veo 一样 生成视频 | 视觉层面的未来推演 |
| 像仿真器一样 动作→环境变化 | 学习物理因果 |
| 像 VLA 一样 观测→关节角/轨迹 | 直接输出控制策略 |
不分类会导致：把 视频生成 Demo 当成 可部署机器人策略 ，或低估 DreamDojo 类仿真器 在数据合成里的价值。Cosmos 3 报告按 I/O 是否含 Action、输出是否可执行 划三层，与产业侧常见用法一致。
2. 形式化 I/O：三层怎么记
用统一符号记（示意，不绑定某一论文的记号）：
| 符号 | 含义 |
|---|---|
| (c) | 非动作条件：文本、图像、视频提示等 |
| (o_t) / (s_t) | 观测或状态 |
| (a_t) | 动作（关节、末端、夹爪；语言指令也可视为一种 action） |
| (v_{t+1:T}) | 未来视频/帧序列 |
| 层 | 条件（输入） | 模型主预测（输出） | 一句话 |
|---|---|---|---|
| VWM | (c)（偶尔含历史帧） | (v_{t+1:T}) | 续写/想象画面 |
| AWM | (s_t)（或 (o_t)）+ (a_t) | (s_{t+1}) 或 (v_{t+1}) | 「我若这样动，世界怎样变」 |
| WAM | (o_t)（+ 目标/语言） | (a_t)（± 未来视频） | 「我该怎么动」 |
分家关键 ：Action 在 左边（条件） 还是 右边（输出） 。AWM 吃动作、吐世界；WAM 吃世界观测、吐动作。先进系统常 两边都有 ，归类看 主任务与主损失：优化的是世界预测误差，还是控制/模仿成功率。
#mermaid-svg-ZJJrcvPpAghqRggJ{font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:16px;fill:#333;}@keyframes edge-animation-frame{from{stroke-dashoffset:0;}}@keyframes dash{to{stroke-dashoffset:0;}}#mermaid-svg-ZJJrcvPpAghqRggJ .edge-animation-slow{stroke-dasharray:9,5!important;stroke-dashoffset:900;animation:dash 50s linear infinite;stroke-linecap:round;}#mermaid-svg-ZJJrcvPpAghqRggJ .edge-animation-fast{stroke-dasharray:9,5!important;stroke-dashoffset:900;animation:dash 20s linear infinite;stroke-linecap:round;}#mermaid-svg-ZJJrcvPpAghqRggJ .error-icon{fill:#552222;}#mermaid-svg-ZJJrcvPpAghqRggJ .error-text{fill:#552222;stroke:#552222;}#mermaid-svg-ZJJrcvPpAghqRggJ .edge-thickness-normal{stroke-width:1px;}#mermaid-svg-ZJJrcvPpAghqRggJ .edge-thickness-thick{stroke-width:3.5px;}#mermaid-svg-ZJJrcvPpAghqRggJ .edge-pattern-solid{stroke-dasharray:0;}#mermaid-svg-ZJJrcvPpAghqRggJ .edge-thickness-invisible{stroke-width:0;fill:none;}#mermaid-svg-ZJJrcvPpAghqRggJ .edge-pattern-dashed{stroke-dasharray:3;}#mermaid-svg-ZJJrcvPpAghqRggJ .edge-pattern-dotted{stroke-dasharray:2;}#mermaid-svg-ZJJrcvPpAghqRggJ .marker{fill:#333333;stroke:#333333;}#mermaid-svg-ZJJrcvPpAghqRggJ .marker.cross{stroke:#333333;}#mermaid-svg-ZJJrcvPpAghqRggJ svg{font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:16px;}#mermaid-svg-ZJJrcvPpAghqRggJ p{margin:0;}#mermaid-svg-ZJJrcvPpAghqRggJ .label{font-family:"trebuchet ms",verdana,arial,sans-serif;color:#333;}#mermaid-svg-ZJJrcvPpAghqRggJ .cluster-label text{fill:#333;}#mermaid-svg-ZJJrcvPpAghqRggJ .cluster-label span{color:#333;}#mermaid-svg-ZJJrcvPpAghqRggJ .cluster-label span p{background-color:transparent;}#mermaid-svg-ZJJrcvPpAghqRggJ .label text,#mermaid-svg-ZJJrcvPpAghqRggJ span{fill:#333;color:#333;}#mermaid-svg-ZJJrcvPpAghqRggJ .node rect,#mermaid-svg-ZJJrcvPpAghqRggJ .node circle,#mermaid-svg-ZJJrcvPpAghqRggJ .node ellipse,#mermaid-svg-ZJJrcvPpAghqRggJ .node polygon,#mermaid-svg-ZJJrcvPpAghqRggJ .node path{fill:#ECECFF;stroke:#9370DB;stroke-width:1px;}#mermaid-svg-ZJJrcvPpAghqRggJ .rough-node .label text,#mermaid-svg-ZJJrcvPpAghqRggJ .node .label text,#mermaid-svg-ZJJrcvPpAghqRggJ .image-shape .label,#mermaid-svg-ZJJrcvPpAghqRggJ .icon-shape .label{text-anchor:middle;}#mermaid-svg-ZJJrcvPpAghqRggJ .node .katex path{fill:#000;stroke:#000;stroke-width:1px;}#mermaid-svg-ZJJrcvPpAghqRggJ .rough-node .label,#mermaid-svg-ZJJrcvPpAghqRggJ .node .label,#mermaid-svg-ZJJrcvPpAghqRggJ .image-shape .label,#mermaid-svg-ZJJrcvPpAghqRggJ .icon-shape .label{text-align:center;}#mermaid-svg-ZJJrcvPpAghqRggJ .node.clickable{cursor:pointer;}#mermaid-svg-ZJJrcvPpAghqRggJ .root .anchor path{fill:#333333!important;stroke-width:0;stroke:#333333;}#mermaid-svg-ZJJrcvPpAghqRggJ .arrowheadPath{fill:#333333;}#mermaid-svg-ZJJrcvPpAghqRggJ .edgePath .path{stroke:#333333;stroke-width:2.0px;}#mermaid-svg-ZJJrcvPpAghqRggJ .flowchart-link{stroke:#333333;fill:none;}#mermaid-svg-ZJJrcvPpAghqRggJ .edgeLabel{background-color:rgba(232,232,232, 0.8);text-align:center;}#mermaid-svg-ZJJrcvPpAghqRggJ .edgeLabel p{background-color:rgba(232,232,232, 0.8);}#mermaid-svg-ZJJrcvPpAghqRggJ .edgeLabel rect{opacity:0.5;background-color:rgba(232,232,232, 0.8);fill:rgba(232,232,232, 0.8);}#mermaid-svg-ZJJrcvPpAghqRggJ .labelBkg{background-color:rgba(232, 232, 232, 0.5);}#mermaid-svg-ZJJrcvPpAghqRggJ .cluster rect{fill:#ffffde;stroke:#aaaa33;stroke-width:1px;}#mermaid-svg-ZJJrcvPpAghqRggJ .cluster text{fill:#333;}#mermaid-svg-ZJJrcvPpAghqRggJ .cluster span{color:#333;}#mermaid-svg-ZJJrcvPpAghqRggJ div.mermaidTooltip{position:absolute;text-align:center;max-width:200px;padding:2px;font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:12px;background:hsl(80, 100%, 96.2745098039%);border:1px solid #aaaa33;border-radius:2px;pointer-events:none;z-index:100;}#mermaid-svg-ZJJrcvPpAghqRggJ .flowchartTitleText{text-anchor:middle;font-size:18px;fill:#333;}#mermaid-svg-ZJJrcvPpAghqRggJ rect.text{fill:none;stroke-width:0;}#mermaid-svg-ZJJrcvPpAghqRggJ .icon-shape,#mermaid-svg-ZJJrcvPpAghqRggJ .image-shape{background-color:rgba(232,232,232, 0.8);text-align:center;}#mermaid-svg-ZJJrcvPpAghqRggJ .icon-shape p,#mermaid-svg-ZJJrcvPpAghqRggJ .image-shape p{background-color:rgba(232,232,232, 0.8);padding:2px;}#mermaid-svg-ZJJrcvPpAghqRggJ .icon-shape .label rect,#mermaid-svg-ZJJrcvPpAghqRggJ .image-shape .label rect{opacity:0.5;background-color:rgba(232,232,232, 0.8);fill:rgba(232,232,232, 0.8);}#mermaid-svg-ZJJrcvPpAghqRggJ .label-icon{display:inline-block;height:1em;overflow:visible;vertical-align:-0.125em;}#mermaid-svg-ZJJrcvPpAghqRggJ .node .label-icon path{fill:currentColor;stroke:revert;stroke-width:revert;}#mermaid-svg-ZJJrcvPpAghqRggJ :root{--mermaid-font-family:"trebuchet ms",verdana,arial,sans-serif;} WAM
观测 o
动作 a
可选：未来视频
AWM
状态 + 动作 a
未来状态/视频
VWM
条件 c
未来视频
3. 三层分类总表
| 层级 | 英文名 | 中文 | 核心 I/O | 典型代表（归属随公开表述可能漂移） |
|---|---|---|---|---|
| 1 | Video World Model (VWM) | 视频世界模型 | 文本/图像/视频 → 未来视频 | Google Veo 、阿里 Wan（通义万相） 、NVIDIA Cosmos 3（视频生成配置） |
| 2 | Action-Conditioned World Model (AWM) | 动作条件世界模型 | 动作（或语言）→ 未来状态/视频 | NVIDIA DreamDojo 、Google Genie 、Meta FAIR JEPA-WM |
| 3 | World Action Model (WAM) | 世界动作模型 | 观测 → 动作（+ 可选未来视频） | NVIDIA DreamZero 、蚂蚁 LingBot-VA 、Google UniPi |
其它命名（如 mimic-Video 等）不先背品牌，先看 主输出是视频还是可执行动作 。公开材料把同一产品同时说成「世界模型」和「策略」时，以该 checkpoint 的 默认推理图 为准。
#mermaid-svg-EzGyY30u6UOKzi8S{font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:16px;fill:#333;}@keyframes edge-animation-frame{from{stroke-dashoffset:0;}}@keyframes dash{to{stroke-dashoffset:0;}}#mermaid-svg-EzGyY30u6UOKzi8S .edge-animation-slow{stroke-dasharray:9,5!important;stroke-dashoffset:900;animation:dash 50s linear infinite;stroke-linecap:round;}#mermaid-svg-EzGyY30u6UOKzi8S .edge-animation-fast{stroke-dasharray:9,5!important;stroke-dashoffset:900;animation:dash 20s linear infinite;stroke-linecap:round;}#mermaid-svg-EzGyY30u6UOKzi8S .error-icon{fill:#552222;}#mermaid-svg-EzGyY30u6UOKzi8S .error-text{fill:#552222;stroke:#552222;}#mermaid-svg-EzGyY30u6UOKzi8S .edge-thickness-normal{stroke-width:1px;}#mermaid-svg-EzGyY30u6UOKzi8S .edge-thickness-thick{stroke-width:3.5px;}#mermaid-svg-EzGyY30u6UOKzi8S .edge-pattern-solid{stroke-dasharray:0;}#mermaid-svg-EzGyY30u6UOKzi8S .edge-thickness-invisible{stroke-width:0;fill:none;}#mermaid-svg-EzGyY30u6UOKzi8S .edge-pattern-dashed{stroke-dasharray:3;}#mermaid-svg-EzGyY30u6UOKzi8S .edge-pattern-dotted{stroke-dasharray:2;}#mermaid-svg-EzGyY30u6UOKzi8S .marker{fill:#333333;stroke:#333333;}#mermaid-svg-EzGyY30u6UOKzi8S .marker.cross{stroke:#333333;}#mermaid-svg-EzGyY30u6UOKzi8S svg{font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:16px;}#mermaid-svg-EzGyY30u6UOKzi8S p{margin:0;}#mermaid-svg-EzGyY30u6UOKzi8S .label{font-family:"trebuchet ms",verdana,arial,sans-serif;color:#333;}#mermaid-svg-EzGyY30u6UOKzi8S .cluster-label text{fill:#333;}#mermaid-svg-EzGyY30u6UOKzi8S .cluster-label span{color:#333;}#mermaid-svg-EzGyY30u6UOKzi8S .cluster-label span p{background-color:transparent;}#mermaid-svg-EzGyY30u6UOKzi8S .label text,#mermaid-svg-EzGyY30u6UOKzi8S span{fill:#333;color:#333;}#mermaid-svg-EzGyY30u6UOKzi8S .node rect,#mermaid-svg-EzGyY30u6UOKzi8S .node circle,#mermaid-svg-EzGyY30u6UOKzi8S .node ellipse,#mermaid-svg-EzGyY30u6UOKzi8S .node polygon,#mermaid-svg-EzGyY30u6UOKzi8S .node path{fill:#ECECFF;stroke:#9370DB;stroke-width:1px;}#mermaid-svg-EzGyY30u6UOKzi8S .rough-node .label text,#mermaid-svg-EzGyY30u6UOKzi8S .node .label text,#mermaid-svg-EzGyY30u6UOKzi8S .image-shape .label,#mermaid-svg-EzGyY30u6UOKzi8S .icon-shape .label{text-anchor:middle;}#mermaid-svg-EzGyY30u6UOKzi8S .node .katex path{fill:#000;stroke:#000;stroke-width:1px;}#mermaid-svg-EzGyY30u6UOKzi8S .rough-node .label,#mermaid-svg-EzGyY30u6UOKzi8S .node .label,#mermaid-svg-EzGyY30u6UOKzi8S .image-shape .label,#mermaid-svg-EzGyY30u6UOKzi8S .icon-shape .label{text-align:center;}#mermaid-svg-EzGyY30u6UOKzi8S .node.clickable{cursor:pointer;}#mermaid-svg-EzGyY30u6UOKzi8S .root .anchor path{fill:#333333!important;stroke-width:0;stroke:#333333;}#mermaid-svg-EzGyY30u6UOKzi8S .arrowheadPath{fill:#333333;}#mermaid-svg-EzGyY30u6UOKzi8S .edgePath .path{stroke:#333333;stroke-width:2.0px;}#mermaid-svg-EzGyY30u6UOKzi8S .flowchart-link{stroke:#333333;fill:none;}#mermaid-svg-EzGyY30u6UOKzi8S .edgeLabel{background-color:rgba(232,232,232, 0.8);text-align:center;}#mermaid-svg-EzGyY30u6UOKzi8S .edgeLabel p{background-color:rgba(232,232,232, 0.8);}#mermaid-svg-EzGyY30u6UOKzi8S .edgeLabel rect{opacity:0.5;background-color:rgba(232,232,232, 0.8);fill:rgba(232,232,232, 0.8);}#mermaid-svg-EzGyY30u6UOKzi8S .labelBkg{background-color:rgba(232, 232, 232, 0.5);}#mermaid-svg-EzGyY30u6UOKzi8S .cluster rect{fill:#ffffde;stroke:#aaaa33;stroke-width:1px;}#mermaid-svg-EzGyY30u6UOKzi8S .cluster text{fill:#333;}#mermaid-svg-EzGyY30u6UOKzi8S .cluster span{color:#333;}#mermaid-svg-EzGyY30u6UOKzi8S div.mermaidTooltip{position:absolute;text-align:center;max-width:200px;padding:2px;font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:12px;background:hsl(80, 100%, 96.2745098039%);border:1px solid #aaaa33;border-radius:2px;pointer-events:none;z-index:100;}#mermaid-svg-EzGyY30u6UOKzi8S .flowchartTitleText{text-anchor:middle;font-size:18px;fill:#333;}#mermaid-svg-EzGyY30u6UOKzi8S rect.text{fill:none;stroke-width:0;}#mermaid-svg-EzGyY30u6UOKzi8S .icon-shape,#mermaid-svg-EzGyY30u6UOKzi8S .image-shape{background-color:rgba(232,232,232, 0.8);text-align:center;}#mermaid-svg-EzGyY30u6UOKzi8S .icon-shape p,#mermaid-svg-EzGyY30u6UOKzi8S .image-shape p{background-color:rgba(232,232,232, 0.8);padding:2px;}#mermaid-svg-EzGyY30u6UOKzi8S .icon-shape .label rect,#mermaid-svg-EzGyY30u6UOKzi8S .image-shape .label rect{opacity:0.5;background-color:rgba(232,232,232, 0.8);fill:rgba(232,232,232, 0.8);}#mermaid-svg-EzGyY30u6UOKzi8S .label-icon{display:inline-block;height:1em;overflow:visible;vertical-align:-0.125em;}#mermaid-svg-EzGyY30u6UOKzi8S .node .label-icon path{fill:currentColor;stroke:revert;stroke-width:revert;}#mermaid-svg-EzGyY30u6UOKzi8S :root{--mermaid-font-family:"trebuchet ms",verdana,arial,sans-serif;} 加入动作条件
输出可执行控制
第三层 WAM
观测 → 机器人动作 Policy
第二层 AWM
动作 → 环境变化
第一层 VWM
预测未来画面
4. 第一层：Video World Model（VWM）
定义 ：底座是 视频生成模型 ------根据文本、图像或其它条件 生成视频 ，即对 未来视觉状态 的估计。
| 要点 | 说明 |
|---|---|
| 能力 | 未来帧预测、场景想象、合成训练数据、演示视频 |
| 局限 | 默认 不直接输出 关节角、夹爪指令 |
| 代表 | Veo 、Wan 、Cosmos 3 在 Text/Image → Video 模式下 |
| 维度 | VWM |
|---|---|
| 典型数据 | 大规模互联网/具身视频，弱标注或文本对齐 |
| 常看指标 | FVD、CLIP 类一致性、主观物理伪影（穿透、动量荒谬） |
| 常见坑 | 「好看」≠「可当仿真」；无动作条件时难做反事实「若换动作会怎样」 |
NVIDIA 将 Cosmos 3 放进 VWM 语境，因其是 Physical AI 通用底座 ，可按配置只做世界生成；相对单一任务视频模型，更强调 多模态统一架构（见 §9）。
5. 第二层：Action-Conditioned World Model（AWM）
定义 ：在 给定动作 条件下生成世界演化------预测「我做这一步，世界会变成什么样」。
| 要点 | 说明 |
|---|---|
| 输入 | 物理动作（关节、末端位姿）或 语言指令（视为 action） |
| 输出 | 未来视频/状态，偏 前向动力学 / 世界仿真 |
| 代表 | DreamDojo （世界仿真器）、Genie 、JEPA-WM |
与 VWM ：生成 以动作为条件 ，强调 因果 而非纯视觉续写。
与 WAM ：主输出仍是 世界预测 ；动作是 输入条件，不是（或不主要是）策略输出。
| 维度 | AWM |
|---|---|
| 典型数据 | 动作--观测轨迹对（真机遥操、仿真 rollout、带控制信号的视频） |
| 常看指标 | 开环/闭环预测误差、物理一致性、反事实合理性、用于下游策略时的提升 |
| 常见坑 | 仿真里「因果正确」≠ 真机可迁移；动作空间与本体未对齐时条件失效 |
Genie / JEPA-WM 等在不同论文世代里能力边界不一：有的偏交互式环境生成，有的偏表征与预测。归类时仍问：推理时是否必须提供 action、主输出是否仍是世界而非控制。
6. 第三层：World Action Model（WAM）
定义 ：模型 直接生成机器人动作 ，并常 联合 预测未来图像/视频------把「理解世界」和「怎么动」绑在同一套生成/预测框架里，控制输出成为一等公民。
| 要点 | 说明 |
|---|---|
| 关注点 | 具身里 怎么响应、怎么操作 |
| 代表 | DreamZero 、LingBot-VA 、UniPi |
| 产业热度 | 投资与论文当前 最集中 的一层 |
Cosmos 3 报告将 Video + Text → Video | Action 等配置映射为 world action / policy model for robot learning，与 WAM 一致。
| 维度 | WAM |
|---|---|
| 典型数据 | 演示、遥操、RL/离线数据集；常要本体、相机标定与动作规范一致 |
| 常看指标 | 真机/仿真任务成功率、分布外泛化、安全性与干涉率；若兼生成视频再看预测质量 |
| 常见坑 | Demo 成功率当部署指标；忽略延迟、力控与失败恢复；「带视频头」不等于已通过物理一致性验收 |
7. WAM、VLA 与 Policy：同一片海域的不同切法
| 叫法 | 强调的轴 | 典型联想 |
|---|---|---|
| Policy | 决策：(o \mapsto a) | 古典 RL/模仿学习 |
| VLA | 模态：Vision--Language--Action 对齐 | RT-2、OpenVLA 等叙事 |
| WAM | 世界建模 + 动作：常 联合 未来视频/状态与动作 | Cosmos 谱系、部分「世界动作」论文 |
关系可以记成：
- WAM ⊂ 广义 Policy（输出必须是可执行动作）。
- 多数具身 VLA 在 I/O 上可归进 WAM 这一层（观测+语言 → 动作）；是否「世界模型」取决于是否显式做未来预测/动力学，还是纯行为克隆。
- 营销上的 VLA 与报告里的 WAM 不是互斥 SKU ，而是 不同切片；立项时写清主输出与是否联合预测世界，比争论商标更重要。
#mermaid-svg-j8GFS3ytTAtSJ6kI{font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:16px;fill:#333;}@keyframes edge-animation-frame{from{stroke-dashoffset:0;}}@keyframes dash{to{stroke-dashoffset:0;}}#mermaid-svg-j8GFS3ytTAtSJ6kI .edge-animation-slow{stroke-dasharray:9,5!important;stroke-dashoffset:900;animation:dash 50s linear infinite;stroke-linecap:round;}#mermaid-svg-j8GFS3ytTAtSJ6kI .edge-animation-fast{stroke-dasharray:9,5!important;stroke-dashoffset:900;animation:dash 20s linear infinite;stroke-linecap:round;}#mermaid-svg-j8GFS3ytTAtSJ6kI .error-icon{fill:#552222;}#mermaid-svg-j8GFS3ytTAtSJ6kI .error-text{fill:#552222;stroke:#552222;}#mermaid-svg-j8GFS3ytTAtSJ6kI .edge-thickness-normal{stroke-width:1px;}#mermaid-svg-j8GFS3ytTAtSJ6kI .edge-thickness-thick{stroke-width:3.5px;}#mermaid-svg-j8GFS3ytTAtSJ6kI .edge-pattern-solid{stroke-dasharray:0;}#mermaid-svg-j8GFS3ytTAtSJ6kI .edge-thickness-invisible{stroke-width:0;fill:none;}#mermaid-svg-j8GFS3ytTAtSJ6kI .edge-pattern-dashed{stroke-dasharray:3;}#mermaid-svg-j8GFS3ytTAtSJ6kI .edge-pattern-dotted{stroke-dasharray:2;}#mermaid-svg-j8GFS3ytTAtSJ6kI .marker{fill:#333333;stroke:#333333;}#mermaid-svg-j8GFS3ytTAtSJ6kI .marker.cross{stroke:#333333;}#mermaid-svg-j8GFS3ytTAtSJ6kI svg{font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:16px;}#mermaid-svg-j8GFS3ytTAtSJ6kI p{margin:0;}#mermaid-svg-j8GFS3ytTAtSJ6kI .label{font-family:"trebuchet ms",verdana,arial,sans-serif;color:#333;}#mermaid-svg-j8GFS3ytTAtSJ6kI .cluster-label text{fill:#333;}#mermaid-svg-j8GFS3ytTAtSJ6kI .cluster-label span{color:#333;}#mermaid-svg-j8GFS3ytTAtSJ6kI .cluster-label span p{background-color:transparent;}#mermaid-svg-j8GFS3ytTAtSJ6kI .label text,#mermaid-svg-j8GFS3ytTAtSJ6kI span{fill:#333;color:#333;}#mermaid-svg-j8GFS3ytTAtSJ6kI .node rect,#mermaid-svg-j8GFS3ytTAtSJ6kI .node circle,#mermaid-svg-j8GFS3ytTAtSJ6kI .node ellipse,#mermaid-svg-j8GFS3ytTAtSJ6kI .node polygon,#mermaid-svg-j8GFS3ytTAtSJ6kI .node path{fill:#ECECFF;stroke:#9370DB;stroke-width:1px;}#mermaid-svg-j8GFS3ytTAtSJ6kI .rough-node .label text,#mermaid-svg-j8GFS3ytTAtSJ6kI .node .label text,#mermaid-svg-j8GFS3ytTAtSJ6kI .image-shape .label,#mermaid-svg-j8GFS3ytTAtSJ6kI .icon-shape .label{text-anchor:middle;}#mermaid-svg-j8GFS3ytTAtSJ6kI .node .katex path{fill:#000;stroke:#000;stroke-width:1px;}#mermaid-svg-j8GFS3ytTAtSJ6kI .rough-node .label,#mermaid-svg-j8GFS3ytTAtSJ6kI .node .label,#mermaid-svg-j8GFS3ytTAtSJ6kI .image-shape .label,#mermaid-svg-j8GFS3ytTAtSJ6kI .icon-shape .label{text-align:center;}#mermaid-svg-j8GFS3ytTAtSJ6kI .node.clickable{cursor:pointer;}#mermaid-svg-j8GFS3ytTAtSJ6kI .root .anchor path{fill:#333333!important;stroke-width:0;stroke:#333333;}#mermaid-svg-j8GFS3ytTAtSJ6kI .arrowheadPath{fill:#333333;}#mermaid-svg-j8GFS3ytTAtSJ6kI .edgePath .path{stroke:#333333;stroke-width:2.0px;}#mermaid-svg-j8GFS3ytTAtSJ6kI .flowchart-link{stroke:#333333;fill:none;}#mermaid-svg-j8GFS3ytTAtSJ6kI .edgeLabel{background-color:rgba(232,232,232, 0.8);text-align:center;}#mermaid-svg-j8GFS3ytTAtSJ6kI .edgeLabel p{background-color:rgba(232,232,232, 0.8);}#mermaid-svg-j8GFS3ytTAtSJ6kI .edgeLabel rect{opacity:0.5;background-color:rgba(232,232,232, 0.8);fill:rgba(232,232,232, 0.8);}#mermaid-svg-j8GFS3ytTAtSJ6kI .labelBkg{background-color:rgba(232, 232, 232, 0.5);}#mermaid-svg-j8GFS3ytTAtSJ6kI .cluster rect{fill:#ffffde;stroke:#aaaa33;stroke-width:1px;}#mermaid-svg-j8GFS3ytTAtSJ6kI .cluster text{fill:#333;}#mermaid-svg-j8GFS3ytTAtSJ6kI .cluster span{color:#333;}#mermaid-svg-j8GFS3ytTAtSJ6kI div.mermaidTooltip{position:absolute;text-align:center;max-width:200px;padding:2px;font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:12px;background:hsl(80, 100%, 96.2745098039%);border:1px solid #aaaa33;border-radius:2px;pointer-events:none;z-index:100;}#mermaid-svg-j8GFS3ytTAtSJ6kI .flowchartTitleText{text-anchor:middle;font-size:18px;fill:#333;}#mermaid-svg-j8GFS3ytTAtSJ6kI rect.text{fill:none;stroke-width:0;}#mermaid-svg-j8GFS3ytTAtSJ6kI .icon-shape,#mermaid-svg-j8GFS3ytTAtSJ6kI .image-shape{background-color:rgba(232,232,232, 0.8);text-align:center;}#mermaid-svg-j8GFS3ytTAtSJ6kI .icon-shape p,#mermaid-svg-j8GFS3ytTAtSJ6kI .image-shape p{background-color:rgba(232,232,232, 0.8);padding:2px;}#mermaid-svg-j8GFS3ytTAtSJ6kI .icon-shape .label rect,#mermaid-svg-j8GFS3ytTAtSJ6kI .image-shape .label rect{opacity:0.5;background-color:rgba(232,232,232, 0.8);fill:rgba(232,232,232, 0.8);}#mermaid-svg-j8GFS3ytTAtSJ6kI .label-icon{display:inline-block;height:1em;overflow:visible;vertical-align:-0.125em;}#mermaid-svg-j8GFS3ytTAtSJ6kI .node .label-icon path{fill:currentColor;stroke:revert;stroke-width:revert;}#mermaid-svg-j8GFS3ytTAtSJ6kI :root{--mermaid-font-family:"trebuchet ms",verdana,arial,sans-serif;} 大量重叠
广义 Policy
WAM：常带世界预测的策略
VLA：强调 V-L-A 对齐
8. 演进关系、决策树与经典「世界模型」对照
| 维度 | 说明 |
|---|---|
| 技术递进 | 看未来（VWM）→ 懂因果（AWM）→ 会决策（WAM） |
| 工程选型 | 数据合成、仿真预训练多在前两层；真机部署策略 多盯 WAM / VLA |
| 边界模糊 | 先进模型常 同时 吐未来视频与动作；归类看主损失与主交付物 |
选型时固定问三句：
- 主交付物是 视频/数据 还是 可执行 action？
- Action 是 输入条件 还是 模型输出？
- 要 真机闭环 还是 离线仿真/合成？
#mermaid-svg-kZd5axtnrsK1NKRr{font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:16px;fill:#333;}@keyframes edge-animation-frame{from{stroke-dashoffset:0;}}@keyframes dash{to{stroke-dashoffset:0;}}#mermaid-svg-kZd5axtnrsK1NKRr .edge-animation-slow{stroke-dasharray:9,5!important;stroke-dashoffset:900;animation:dash 50s linear infinite;stroke-linecap:round;}#mermaid-svg-kZd5axtnrsK1NKRr .edge-animation-fast{stroke-dasharray:9,5!important;stroke-dashoffset:900;animation:dash 20s linear infinite;stroke-linecap:round;}#mermaid-svg-kZd5axtnrsK1NKRr .error-icon{fill:#552222;}#mermaid-svg-kZd5axtnrsK1NKRr .error-text{fill:#552222;stroke:#552222;}#mermaid-svg-kZd5axtnrsK1NKRr .edge-thickness-normal{stroke-width:1px;}#mermaid-svg-kZd5axtnrsK1NKRr .edge-thickness-thick{stroke-width:3.5px;}#mermaid-svg-kZd5axtnrsK1NKRr .edge-pattern-solid{stroke-dasharray:0;}#mermaid-svg-kZd5axtnrsK1NKRr .edge-thickness-invisible{stroke-width:0;fill:none;}#mermaid-svg-kZd5axtnrsK1NKRr .edge-pattern-dashed{stroke-dasharray:3;}#mermaid-svg-kZd5axtnrsK1NKRr .edge-pattern-dotted{stroke-dasharray:2;}#mermaid-svg-kZd5axtnrsK1NKRr .marker{fill:#333333;stroke:#333333;}#mermaid-svg-kZd5axtnrsK1NKRr .marker.cross{stroke:#333333;}#mermaid-svg-kZd5axtnrsK1NKRr svg{font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:16px;}#mermaid-svg-kZd5axtnrsK1NKRr p{margin:0;}#mermaid-svg-kZd5axtnrsK1NKRr .label{font-family:"trebuchet ms",verdana,arial,sans-serif;color:#333;}#mermaid-svg-kZd5axtnrsK1NKRr .cluster-label text{fill:#333;}#mermaid-svg-kZd5axtnrsK1NKRr .cluster-label span{color:#333;}#mermaid-svg-kZd5axtnrsK1NKRr .cluster-label span p{background-color:transparent;}#mermaid-svg-kZd5axtnrsK1NKRr .label text,#mermaid-svg-kZd5axtnrsK1NKRr span{fill:#333;color:#333;}#mermaid-svg-kZd5axtnrsK1NKRr .node rect,#mermaid-svg-kZd5axtnrsK1NKRr .node circle,#mermaid-svg-kZd5axtnrsK1NKRr .node ellipse,#mermaid-svg-kZd5axtnrsK1NKRr .node polygon,#mermaid-svg-kZd5axtnrsK1NKRr .node path{fill:#ECECFF;stroke:#9370DB;stroke-width:1px;}#mermaid-svg-kZd5axtnrsK1NKRr .rough-node .label text,#mermaid-svg-kZd5axtnrsK1NKRr .node .label text,#mermaid-svg-kZd5axtnrsK1NKRr .image-shape .label,#mermaid-svg-kZd5axtnrsK1NKRr .icon-shape .label{text-anchor:middle;}#mermaid-svg-kZd5axtnrsK1NKRr .node .katex path{fill:#000;stroke:#000;stroke-width:1px;}#mermaid-svg-kZd5axtnrsK1NKRr .rough-node .label,#mermaid-svg-kZd5axtnrsK1NKRr .node .label,#mermaid-svg-kZd5axtnrsK1NKRr .image-shape .label,#mermaid-svg-kZd5axtnrsK1NKRr .icon-shape .label{text-align:center;}#mermaid-svg-kZd5axtnrsK1NKRr .node.clickable{cursor:pointer;}#mermaid-svg-kZd5axtnrsK1NKRr .root .anchor path{fill:#333333!important;stroke-width:0;stroke:#333333;}#mermaid-svg-kZd5axtnrsK1NKRr .arrowheadPath{fill:#333333;}#mermaid-svg-kZd5axtnrsK1NKRr .edgePath .path{stroke:#333333;stroke-width:2.0px;}#mermaid-svg-kZd5axtnrsK1NKRr .flowchart-link{stroke:#333333;fill:none;}#mermaid-svg-kZd5axtnrsK1NKRr .edgeLabel{background-color:rgba(232,232,232, 0.8);text-align:center;}#mermaid-svg-kZd5axtnrsK1NKRr .edgeLabel p{background-color:rgba(232,232,232, 0.8);}#mermaid-svg-kZd5axtnrsK1NKRr .edgeLabel rect{opacity:0.5;background-color:rgba(232,232,232, 0.8);fill:rgba(232,232,232, 0.8);}#mermaid-svg-kZd5axtnrsK1NKRr .labelBkg{background-color:rgba(232, 232, 232, 0.5);}#mermaid-svg-kZd5axtnrsK1NKRr .cluster rect{fill:#ffffde;stroke:#aaaa33;stroke-width:1px;}#mermaid-svg-kZd5axtnrsK1NKRr .cluster text{fill:#333;}#mermaid-svg-kZd5axtnrsK1NKRr .cluster span{color:#333;}#mermaid-svg-kZd5axtnrsK1NKRr div.mermaidTooltip{position:absolute;text-align:center;max-width:200px;padding:2px;font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:12px;background:hsl(80, 100%, 96.2745098039%);border:1px solid #aaaa33;border-radius:2px;pointer-events:none;z-index:100;}#mermaid-svg-kZd5axtnrsK1NKRr .flowchartTitleText{text-anchor:middle;font-size:18px;fill:#333;}#mermaid-svg-kZd5axtnrsK1NKRr rect.text{fill:none;stroke-width:0;}#mermaid-svg-kZd5axtnrsK1NKRr .icon-shape,#mermaid-svg-kZd5axtnrsK1NKRr .image-shape{background-color:rgba(232,232,232, 0.8);text-align:center;}#mermaid-svg-kZd5axtnrsK1NKRr .icon-shape p,#mermaid-svg-kZd5axtnrsK1NKRr .image-shape p{background-color:rgba(232,232,232, 0.8);padding:2px;}#mermaid-svg-kZd5axtnrsK1NKRr .icon-shape .label rect,#mermaid-svg-kZd5axtnrsK1NKRr .image-shape .label rect{opacity:0.5;background-color:rgba(232,232,232, 0.8);fill:rgba(232,232,232, 0.8);}#mermaid-svg-kZd5axtnrsK1NKRr .label-icon{display:inline-block;height:1em;overflow:visible;vertical-align:-0.125em;}#mermaid-svg-kZd5axtnrsK1NKRr .node .label-icon path{fill:currentColor;stroke:revert;stroke-width:revert;}#mermaid-svg-kZd5axtnrsK1NKRr :root{--mermaid-font-family:"trebuchet ms",verdana,arial,sans-serif;} 否
否
是
是
主交付是可执行动作?
需要动作条件做因果预测?
偏 VWM：生成/想象
偏 AWM：仿真/前向模型
偏 WAM / VLA：策略
与经典 RL「世界模型」的半页对照
| 经典 RL World Model（如梦境训练一脉） | 本文 Robotics 三层（Cosmos 语境） | |
|---|---|---|
| 语境 | 智能体在 学习到的动力学 里做规划/想象 rollout | 视频生成、动作条件仿真、具身策略统一叫「世界模型」 |
| 输出 | 多为下一状态/奖励预测，服务 规划或策略学习 | VWM 可无动作；WAM 直接出控制 |
| 易混点 | 「有世界模型」≠「能生成好看视频」 | 「能生成视频」≠「可部署 policy」 |
两套词同源、应用面不同；读论文时先标它属于 RL 规划栈 还是 视频/具身生成栈。
9. Cosmos 3 与「全能模型」
Cosmos 3: Omnimodal World Models for Physical AI （NVIDIA，2026 年 6 月）不单属某一层：同一 Mixture-of-Transformers 架构下，换 输入/输出模态组合 可在 VLM、视频生成、AWM、WAM 等模式间切换。
| 能力块 | 在栈中的角色 |
|---|---|
| Cosmos 3 Reasoner | 多模态理解、物理推理 |
| Cosmos 3 Generator | 视频/图像/音频生成 |
| Action tokens | 连接语言、视频与 物理控制信号 |
| DreamDojo / DreamZero | 报告中作为 AWM / WAM 实例讨论 |
把 Cosmos 3 放在 VWM 类，指的是其 视频世界生成底座 ；完整报告强调的是 三层能力进同一框架。评估某个 Cosmos 配置时，仍回到 §2 的 I/O 表，而不是只看品牌名。
10. 原文与延伸阅读
10.1 Cosmos 3
| 资源 | 链接 |
|---|---|
| Technical Report（PDF） | 官方 PDF · 本地副本 |
| 项目页 | https://research.nvidia.com/labs/cosmos-lab/cosmos3/ |
| Hugging Face Papers | https://huggingface.co/papers/2606.02800 |
| 代码与权重 | https://github.com/NVIDIA/Cosmos |
| 开发者博客 | https://developer.nvidia.com/blog/develop-physical-ai-reasoning-world-and-action-models-with-nvidia-cosmos-3/ |
10.2 机器人学习视角综述
| 资源 | 说明 |
|---|---|
| World Model for Robot Learning: A Comprehensive Survey | 南洋理工 MARS Lab 等；本地 PDF |
| 项目页 / Awesome 列表 | 持续更新的论文与资源 |
落地时注意：模型命名与层级 随厂商宣传变化 ；同一 checkpoint 可能支持多种 I/O 模式。评估以 主任务指标（生成质量、仿真物理一致性、真机成功率）为准，而非是否自称「世界模型」。真机侧还要单独验收延迟、安全与失败恢复------那是策略部署问题，不是视频指标能替代的。
收束：先固定 I/O------Action 在左还是在右，主输出是世界还是控制------再谈 VWM / AWM / WAM。与 VLA 的争论多半是切片不同；与经典 RL 世界模型的混淆多半是语境不同。会叫名字不如会写验收指标。