让AI能够预演现实的世界模型，到底是什么？

世界模型火了，AI 开始"预演"现实

本文资料更新至 2026 年 7 月。

过去几年，大语言模型让人们第一次直观感受到：机器可以写文章、编代码、回答问题，甚至完成一连串复杂任务。如今，另一个概念正在成为 AI 研究和产业竞争的焦点------世界模型（World Model）。

这个名字听起来很宏大，仿佛要把整个宇宙装进一台计算机。实际研究中的"世界"通常有明确边界：模型学习某个环境如何变化，以及一个行动会带来什么后果。

大语言模型擅长回答"接下来应该说什么"，也就是预测下一个字是什么，而世界模型关心的问题则是：

如果物理世界现在处于这种状态，采取这个行动后，接下来最可能发生什么？

例如：

机器人把杯子向桌边推，杯子会停住、倾倒，还是掉到地上？
汽车在雨夜变道，周围车辆和行人可能如何反应？
游戏角色打开一扇门，门后面的房间是否还和刚才一样？
无人机向左转并降低高度，摄像头下一刻会看到什么？

世界模型让 AI 在行动之前，先在内部进行一次或多次"预演"。

一、什么是世界模型？

1. 一个通俗的类比：脑中的"小剧场"

想象你站在厨房里，准备把一只玻璃杯放到水槽边缘。即使没有真的松手，你也大致知道：如果杯子放得太靠外，它可能会掉下来摔碎。

这种推演来自过去看过、听过和亲手做过的事情。大脑会调动这些经验，很快得出一个大致结果。

这种能力包含几个部分：

识别当前状态：杯子的位置、桌沿的位置、杯子的材质；
理解行动：把杯子向外移动；
预测变化：杯子失去支撑、下落并可能破碎；
评估结果：这个结果不好，因此调整动作。

世界模型想让 AI 获得类似的能力。它相当于 AI 内部的一个"环境模拟器"：根据当前环境和候选行动，预测未来可能出现的状态。

2. 研究中的定义

在研究中，世界模型通常指一种能够学习环境的结构与动态规律，并对未来状态进行预测或模拟的模型。2026 年的一篇综述也指出，学术界目前仍没有完全统一的定义，但"内部模拟器""环境动态"和"行动后果"是大多数定义的共同核心。

最基本的过程可以写成：

text 复制代码

当前状态 + 采取的行动 → 下一时刻可能出现的状态

用简化的数学形式表示，就是：

text 复制代码

P(下一状态 | 当前状态, 行动)

这里使用"概率"，因为现实通常有多个可能结果。同样是把球扔出去，风向、力度、碰撞角度等细小差异，都会改变落点。好的世界模型需要给出各种可能及其概率，同时估计自己的不确定程度。

3. "世界"往往是有边界的

世界模型里的"世界"，不一定是完整的现实世界。它可以只是：

一款赛车游戏的赛道和车辆；
一个机械臂所在的工作台；
一段城市道路；
一间可以行走和操作物体的三维房间；
一个金融市场、气象系统或分子系统的局部环境。

能够表示环境状态、学习变化规律并预测行动结果的模型，都具备世界模型的基本特征。"世界模型"指的是一类能力，对网络结构没有硬性限制，也没有专指某个产品。

二、世界模型已有很长的研究历史

"先预测，再行动"很早就是控制理论、机器人和强化学习中的重要思路。传统工程系统会使用人工编写的物理方程和规则来预测未来，例如根据车辆速度、方向盘角度和道路曲率估算几秒后的车辆位置。

后来，研究者开始让神经网络直接从数据中学习这些规律。2018 年，David Ha 和 Jürgen Schmidhuber 发表了题为《World Models》的研究：模型先把视觉环境压缩成内部表示，再学习这些内部状态如何随时间变化；智能体甚至可以在模型生成的"梦境"里训练，之后再回到真实游戏环境中执行任务。

今天世界模型重新升温，主要是因为几项条件同时成熟：

海量视频为模型提供了丰富的运动和物理线索；
Transformer、扩散模型等架构能够处理更大规模的时空数据；
图像、视频、语言、动作和三维数据开始被放进统一系统；
机器人、自动驾驶和通用 AI 智能体迫切需要低成本、可扩展的训练环境；
视频生成模型表现出一定的物体恒常性、空间关系和直觉物理能力，使"从生成视频走向模拟世界"成为可能。

所以，今天的世界模型既继承了模型式强化学习的传统，也吸收了视频生成、多模态学习、三维重建和具身智能的最新进展。

三、世界模型是怎样工作的？

不同系统的实现差异很大，但通常可以拆成五个环节。

1. 感知：把外部世界变成机器能处理的信号

模型首先接收摄像头画面、深度图、声音、文字说明、机器人关节数据、车辆速度等信息。

真实环境的信息量非常大。一个机器人没有必要记住墙上每一粒灰尘，但需要知道"桌面在哪里""杯子在哪里""机械臂目前是什么姿态"。因此，模型通常会把原始观察压缩成一种内部表示。

2. 建立内部状态：保存"此刻世界是什么样"

这个内部状态也常被称为潜在状态（latent state）。它未必是一张人类能直接看懂的图片，而可能是一组高维数字。

这组数字需要尽量保留与任务有关的信息，例如：

有哪些物体；
物体在哪里、朝向哪里；
哪些物体正在运动；
哪些区域被遮挡，但仍然应该存在；
当前动作进行到了哪一步；
过去发生过哪些会影响未来的事件。

3. 学习动态：预测状态如何变化

世界模型的核心是动态模型。它学习：当状态为 S、行动为 A 时，下一个状态 S' 会是什么。

例如，机械臂向右移动 5 厘米，模型需要预测机械臂末端的位置变化，以及它是否会碰到杯子；车辆踩下刹车，模型需要预测本车速度、与前车距离和周围交通参与者的变化。

4. 展开未来：在内部尝试多个方案

有了动态模型，AI 就可以进行"想象式推演"：

text 复制代码

方案 A：向左绕过障碍 → 预测未来 1 → 预测未来 2 → 预测结果
方案 B：从右侧通过     → 预测未来 1 → 预测未来 2 → 预测结果
方案 C：停下并重新观察 → 预测未来 1 → 预测未来 2 → 预测结果

这类连续预测通常叫作 rollout，可以理解为把一条可能的未来轨迹向前展开。

5. 规划与行动：选择更好的未来

模型本身可以只负责预测，也可以和规划器、策略模型或智能体组合。系统会比较不同轨迹的安全性、成本和成功概率，选出更合适的行动，再到真实环境中执行。

执行之后，新的观察又会进入模型，更新内部状态。整个过程不断循环：

text 复制代码

观察 → 建模 → 预测 → 规划 → 行动 → 再观察

到了这一步，模型的预测才可以用于智能体行动。

四、世界模型和大语言模型有什么区别？

大语言模型与世界模型可以使用相同的 Transformer 架构，也可以组合到同一个系统里。区分二者时，主要看学习对象、训练目标和使用方式。

比较维度	大语言模型（LLM）	世界模型（World Model）
主要学习对象	语言、代码以及被文字记录的知识	环境状态、空间结构、时间变化和行动后果
典型训练目标	根据上下文预测下一个词元	根据当前状态和行动预测未来状态或其内部表示
常见输入	文本，也可扩展到图片、音频和视频	视频、图像、传感器、三维数据、动作、文字等
典型输出	文字、代码、工具调用或语言化答案	未来画面、未来潜在状态、轨迹、奖励或风险估计
对行动的要求	行动往往以文字描述或工具指令表示	行动通常直接进入模型，改变被模拟环境的未来
重点能力	语言理解、知识调用、抽象推理和表达	时空连续性、物体恒常性、动力学、因果影响和反事实推演
典型用途	问答、写作、编程、信息处理	机器人规划、自动驾驶仿真、智能体训练、交互环境生成
主要失误	事实幻觉、推理错误、错误调用工具	物理规律错误、场景漂移、长期预测失真、行动响应不准确

1. 大语言模型学的是"文字世界"，世界模型学的是"变化中的环境"

大语言模型读过大量文字，因此知道"杯子从桌上掉下来通常会碎"。但它的训练目标主要是生成合理的语言序列。它给出的答案可能在语言上非常可信，却不代表内部一定拥有精确、稳定、可连续运行的三维物理模拟。

世界模型更强调状态随时间的变化。它要判断"杯子会不会掉"，还要根据位置、力度和周围障碍预测杯子的运动轨迹，以及机器人采取不同动作时会发生什么。

2. 语言相关性不等于物理因果性

在文本里，"下雨"经常和"打伞"同时出现。大语言模型很容易学到这种相关性。但机器人需要理解更具体的链条：雨水落下会弄湿物体，伞面能够遮挡雨水，伞的朝向和位置会影响遮挡效果。

世界模型追求的不只是"哪些事情经常一起出现"，还包括"什么行动会使什么状态发生变化"。这更接近可用于控制的因果关系。

3. 大语言模型也可能包含某种"隐式世界模型"

不能简单地说大语言模型完全没有世界模型。为了预测文本，它必须学习人物、物体、社会规则和部分物理常识。强大的多模态模型也能理解图像和视频，并完成一定程度的空间推理。

但这种知识通常是隐式的，精度和稳定性也不一定足以支撑连续控制。世界模型研究希望把环境状态、时间演化和行动影响做得更明确、更可验证。

4. 二者将走向融合

实用的通用智能体通常需要多种能力配合：

大语言模型负责理解目标、分解任务、使用知识和与人沟通；
世界模型负责感知环境、预测后果、比较方案和修正行动；
策略或控制模型负责把计划变成具体动作；
记忆系统负责保存跨时间的信息。

大语言模型像是善于阅读、交流和制定高层计划的大脑；世界模型则负责空间感、直觉物理和行动预演。二者配合，AI 才有机会把答案落实为行动。

五、世界模型就是视频生成模型吗？

二者有很深的联系，但概念范围不同。

视频天然包含时间变化，因此是训练世界模型的重要数据来源。一个视频模型如果能够根据过去画面生成未来画面，它确实学到了一部分世界规律。OpenAI 在 2024 年介绍 Sora 时，就把大规模视频生成描述为通向"通用物理世界模拟器"的一条可能路径。

但"能生成看起来真实的视频"和"能可靠地模拟环境"之间仍有很大距离。

一个视频可能每一帧都很逼真，却出现以下问题：

人转身后衣服颜色变了；
被挡住的物体再次出现时形状不同；
房间绕一圈后空间布局对不上；
车辆打了方向盘，画面变化却没有遵循正确的车辆动力学；
球撞墙后的方向看起来顺眼，但不符合碰撞规律；
模型只生成一种"好看的未来"，却没有覆盖低概率但高风险的未来。

因此，一个面向行动的世界模型通常还需要五项能力：

可控：明确响应智能体的动作；
一致：物体、空间和历史在较长时间内保持稳定；
因果可信：行动与后果之间的关系正确；
多未来：能够表达不确定性，给出多种可能结果；
可用于规划：预测结果能够帮助智能体选择动作。

视频生成可以展示世界模型的能力，也可以充当训练世界模型的技术路线。不过，画面逼真本身还不足以证明模型理解了世界。

六、当前世界模型主要在向哪些方向发力？

目前没有唯一的主流架构，行业沿着几条相互交叉的路线推进。

方向一：在潜在空间中预测

现实画面里有大量难以预测、又与任务关系不大的细节，例如树叶的轻微摆动、远处水面的纹理。逐像素还原这些内容成本很高，也容易分散模型的计算资源。

一类方法会跳过下一帧的具体像素，直接预测抽象的内部表示。例如 Meta 的 V-JEPA 2 主要从大规模视频中学习抽象表征，再预测未来表征。经过少量带机器人动作的数据训练后，它可以用于新环境中的规划和控制。

它关注的是决策所需的结构信息，无须把未来画面逐像素复原。

它的优势是计算更集中、表示更抽象；难点则是如何确保潜在状态真的包含位置、接触、遮挡和动作结果等关键信息。

方向二：生成可实时交互的动态环境

另一条路线追求"生成出来，也能走进去"。Google DeepMind 的 Genie 3 是代表性案例：它可以根据文本创建可实时导航的动态环境，并根据用户或智能体的动作继续生成后续画面。

这类模型会根据用户的动作继续生成环境，效果类似由神经网络驱动的游戏引擎：向左走和向右走，会进入不同的后续世界。它还能生成天气变化或新物体出现等事件，用来构造"如果突然发生某事"的反事实场景。

当前难点包括长时间一致性、丰富的动作空间和多智能体互动。生成环境还要遵守稳定规则，画面质量只是其中一项要求。

方向三：建立持久、可编辑的三维空间

二维视频很容易产生"镜头一转，世界就变了"的问题。研究者为此引入显式或隐式的三维表示。

World Labs 的 Marble 代表了这条路线。它可以从文字、图像、视频或粗略三维布局生成可导航的三维世界，并支持编辑、扩展和导出。它特别强调持久性：用户离开一个房间再回来，房间仍要保持原来的结构，避免模型每次都重新"即兴创作"。

这一方向与游戏制作、影视预演、建筑设计、虚拟现实和机器人仿真都有直接联系。

方向四：为机器人和"物理 AI"提供训练场

机器人训练面临一个现实难题：真实数据昂贵、缓慢，而且有风险。让机械臂在现实中摔坏一万只杯子来学习抓取，显然不可行。

世界模型可以生成大量可控的虚拟经验：更换物体、光照、材质、位置和故障条件，让机器人在内部模拟或合成环境中反复练习。NVIDIA 的 Cosmos 世界基础模型平台，就把重点放在机器人、自动驾驶等"物理 AI"场景，提供未来状态预测、视频生成、数据处理和后训练能力。

这里最大的考验是 sim-to-real（从模拟到现实）：在虚拟世界里学会的策略，能否在真实世界稳定工作？如果模拟器的摩擦、重量或视觉细节与现实存在系统性偏差，机器人可能在模拟中表现完美，落地后却失败。

方向五：服务自动驾驶的训练、测试与安全验证

自动驾驶尤其需要处理"少见但危险"的长尾场景，例如暴雨中的突然横穿、施工区域的异常指示、被大车遮挡的行人。这些情况很难大量采集，也不适合在真实道路上主动复现。

Wayve 的 GAIA 系列把世界模型用于生成可控驾驶场景，并进一步用于自动驾驶系统的评估和验证。理想情况下，工程师可以固定道路和交通条件，只改变某个变量，反复测试驾驶系统是否稳定。

它的价值也体现在安全测试上：同一场景可以反复运行，结果可以相互比较。

方向六：让智能体先"想"再行动

当世界模型能预测行动结果时，智能体就可以在内部尝试多套计划。它可以先模拟"伸手抓杯子""从侧面推杯子""移动相机重新观察"等方案，再选择成功率较高的一种。

这与人类解决问题的方式很相似：我们不会把所有想法都直接付诸行动，而会先在脑中估计结果。对代价高、不可逆或存在危险的任务来说，这种能力尤其重要。

未来的重要方向，是把语言模型的高层推理与世界模型的低层时空推演连接起来：语言模型提出计划，世界模型检查计划在当前环境中是否可行，执行系统再把它变成动作。

方向七：延长记忆和预测时间

短短几秒内保持画面连贯已经不容易；要让一个环境稳定运行几小时甚至几天，则需要更强的记忆机制。

长时世界模型必须记住：

某个物体虽然暂时看不见，但依然存在；
一扇门此前已经打开；
电池电量在持续下降；
人物曾作出的承诺会影响后续行为；
早先的碰撞造成了不可逆的损坏。

误差还会在连续预测中逐步积累。模型第一步只偏一点，几十步后可能进入完全错误的世界。因此，长期一致性、分层时间建模、外部记忆和随新观察及时纠错，都是当前重点。

方向八：从相关性走向因果性和可校准的不确定性

现实中的同一时刻可能通向多个结果。前车可能刹车，也可能继续行驶；一个人伸手靠近杯子，可能拿起它，也可能挪动它。

世界模型需要生成或评估多个可能未来，并为这些未来分配合理概率。同时，它还要区分：

两件事只是经常同时出现；
一件事确实导致了另一件事；
哪些因素是可以通过行动改变的；
哪些结果超出了模型熟悉的范围。

一个会承认"我不确定"的模型，往往比一个总能生成流畅画面、却不知道自己何时出错的模型更安全。

方向九：改进评测标准

世界模型很难只用一个分数衡量。画质高，不代表物理正确；短期预测准，不代表长期规划有用；在常见场景中表现好，也不代表能处理罕见危险情况。

因此，评测正在覆盖更多层面：

视觉真实性；
三维和物体一致性；
动作控制准确性；
物理规律与因果关系；
长时间预测的稳定性；
多种未来的概率是否合理；
是否提升机器人或智能体的任务成功率；
面对分布外场景时，是否能识别自己的不确定性。

画面能否骗过人眼，只是评测的一部分。还要看预测能否帮助智能体在现实中作出安全、有效的决定。

七、两类重要路线：生成画面，还是预测抽象状态？

从实现方式看，许多世界模型可以粗略分成两类。

1. 生成式世界模型

它直接生成未来图像、视频或三维环境。优点是直观，人可以查看和评估，适合内容创作、模拟器和合成数据。缺点是生成高清画面计算量大，而且视觉逼真可能掩盖物理错误。

典型关注点包括：

更高画质；
更长时间一致性；
实时交互；
三维持久性；
对动作和事件的精细控制。

2. 潜在世界模型

它在压缩后的内部空间中预测，不一定把每一步还原成人类可看的画面。优点是更高效，并可能把注意力放在任务相关信息上。缺点是内部状态难以解释，也更难判断它是否遗漏了关键物理因素。

典型关注点包括：

学到以物体和关系为中心的表示；
从无标注视频中学习；
用少量动作数据适配机器人；
支持快速规划和控制；
对不确定性进行可靠估计。

两条路线可以组合使用。潜在模拟器负责快速推演大量候选方案，可视化生成器按需生成高保真环境，供训练、验证或人类检查。

八、世界模型可能带来什么？

1. 机器人：从"背动作"变成"看情况做决定"

传统机器人常在固定环境中执行预先设计的流程。拥有世界模型后，机器人可以预测不同抓取方式的结果，适应陌生物体和变化的摆放位置，并在失败前调整计划。

2. 自动驾驶：在虚拟世界里经历更多危险

世界模型可以生成现实中罕见的危险场景，帮助驾驶系统训练和测试。它还可以回答反事实问题：如果车速再快 10 公里、行人晚出现半秒、路面更湿，系统会怎样反应？

3. 游戏与影视：从生成一张图，走向生成一个可进入的世界

创作者可以用文字或草图快速构建场景，在其中移动、调整天气、增加角色，再导出为后续制作资产。内容生成的单位可能从"像素和镜头"升级为"空间和规则"。

4. AI 智能体：获得低成本、近乎无限的练习环境

智能体可以在生成的世界中练习导航、找物、操作和协作，不必为每项任务单独搭建环境。世界模型还可以针对智能体的弱点生成课程，专门训练它容易失败的情况。

5. 教育与职业训练：安全体验难以复现的情境

消防、医疗、工业维修等训练成本高且有风险。可交互世界模型有望生成多种事故和操作情境，让学习者在可控环境中练习决策。

6. 科学研究：成为数据驱动的假设生成工具

世界模型也可能用于天气、材料、分子和复杂系统的近似预测。不过必须保持谨慎：从数据学出的生成模型不等于经过严格验证的物理方程。高风险科学应用仍需要实验、机理模型和专业评审共同验证。

九、世界模型目前有哪些硬伤？

1. "看起来合理"不等于"真的正确"

生成模型善于制造视觉上顺畅的结果，但机器人和自动驾驶需要数值、几何和因果层面的正确。漂亮但错误的模拟，可能比明显粗糙的模拟更危险。

2. 长期预测会累积误差

每一步的小误差都会影响下一步。预测时间越长，环境越容易漂移，最终偏离现实。

3. 真实世界包含大量长尾情况

训练数据永远不可能覆盖所有物体、天气、故障和人类行为。世界模型尤其容易在罕见组合和极端情况中失效，而这些情况恰恰常与安全有关。

4. 高质量"观察---行动---结果"数据稀缺

互联网视频很多，但多数没有记录拍摄者或机器具体采取了什么动作。模型可以从视频学习"发生了什么"，却未必知道"哪个动作导致了什么"。机器人动作数据昂贵，设备之间也不完全通用。

5. 实时高保真模拟消耗巨大

高清、多视角、长时间、可交互的世界生成需要大量算力。机器人控制又要求低延迟，这对模型压缩、硬件和系统工程提出了很高要求。

6. 评价仍然困难

一个模型可能画面更好，另一个更适合规划。若没有统一、面向真实任务的评测，就容易把演示效果误当成实际能力。

7. 安全问题会从"说错话"扩展到"做错事"

世界模型一旦参与控制机器、车辆和关键设施，预测错误就可能转化为现实损失。系统必须包含权限限制、风险检测、冗余验证、人工接管和真实环境中的渐进式测试。

世界模型还可能被用于制造逼真的虚假场景或低成本训练攻击型智能体。因此，数据治理、内容溯源、访问控制和安全评测也需要同步发展。

十、怎样判断世界模型有了实质进步？

面对精彩的演示视频，可以用下面几个问题来判断它的真实含金量：

它能被行动控制吗？ 还是只能根据文字生成一段固定视频？
行动与后果准确吗？ 同样的动作在相同条件下是否产生稳定、合理的结果？
能保持多久的一致性？ 是几秒、几分钟，还是可以长期运行？
镜头外的物体还存在吗？ 回到原处时，空间和物体是否保持不变？
它能表达多个可能未来吗？ 是否知道自己的预测不确定？
它在陌生场景中如何表现？ 是否能识别超出训练范围的情况？
它真的改善了下游任务吗？ 机器人成功率、驾驶安全性或智能体规划能力是否提高？
模拟能力能迁移到现实吗？ 在虚拟环境中的提升，是否经过真实实验验证？

这些问题比"画质有多高""参数有多少"更能说明模型的实际水平。

十一、世界模型会取代大语言模型吗？

大概率不会。更合理的判断是：世界模型会补上大语言模型在物理环境、空间关系和连续行动方面的短板。

大语言模型已经证明，预测序列可以产生强大的通用能力。世界模型把预测对象扩展到复杂的时空序列，包括下一幅画面、下一个内部状态和行动造成的后果。

未来的 AI 系统可能由多个能力模块协同工作：

text 复制代码

语言模型：理解"我要做什么"
世界模型：推演"这样做会发生什么"
规划系统：决定"哪条路径更好"
控制系统：执行"下一步具体动作"
记忆系统：保存"之前发生过什么"
安全系统：判断"哪些事情不能做或需要人工确认"

随着模型融合，这些模块之间的边界可能逐渐模糊，但它们解决的问题仍然不同。

结语：从"预测语言"到"预测世界"

世界模型受到关注，主要因为它尝试让 AI 理解环境变化，并在行动之前预见可能的后果。震撼的视频只是这种能力最直观的展示方式。

这条路仍处于早期阶段。今天的模型可以生成短时间的可交互环境，也能在受限任务中帮助机器人规划，但距离稳定、精确、长时、可验证地模拟开放现实世界，还有很长距离。

成熟的世界模型需要接受行动、保持记忆、遵守规律、表达不确定性，并改善现实决策。只会制造视觉幻象的"梦境生成器"，还达不到这些要求。

大语言模型让 AI 学会了如何用人类的语言描述世界；世界模型要解决的下一道难题，是让 AI 学会在行动之前，先认真想一想：

如果我这样做，世界接下来会变成什么样？