终章写下"全部的悬念在消化侧"之后,技术侧仍有一条正在成形的正面前线:世界模型。语言模型预测下一个词,世界模型预测下一个状态------把"下一个 token"从符号序列搬到物理时空。这不是第 15 篇(多模态)的续写,而是一次换轴:视频生成学的是"像素如何继续",世界模型要学的是"世界如何继续"。前者可以只懂纹理,后者必须懂恒常、因果与反事实。Ha & Schmidhuber 2018 年那篇《World Models》是它的创世文献,Dreamer 系列把它变成可训练的工程,V-JEPA 与视频扩散把它推到当前的规模之争。
一、模型基 RL:在想象中训练
世界模型的第一性问题来自强化学习老传统:无模型 代理在真实环境里试错,样本成本天价(机器人摔坏一次是一次);模型基 代理先学一个环境的模拟器,再在想象里廉价试错。Dreamer 的循环是全部工程的原型:从真实交互学出潜在动力学模型(编码器把观测压进潜在状态,转移模型预测"如果这样做,状态会怎么变"),然后纯在想象的 rollout 里训练策略 ,偶尔回真实世界校准。世界模型的价值公式由此而来:想象里一个 rollout 的成本是毫秒级 GPU,真实里是小时级物理------模型质量每提高一分,都是真实样本的账单在打折 。这与第 8 篇的推理时计算是同构的:那是思维空间里的 rollout,这是状态空间里的 rollout;都与验证器问题相连------想象的 rollout 只在模型不错的地方有用,模型错了,想象越流畅,跑偏越远。
二、表征之争:像素还是潜在
当前最大的路线分歧是预测什么。生成派 (视频扩散)预测像素:Sora 式模型把"下一个状态"渲染成帧,优点是数据管线上无脑(互联网视频随便吃)、产物可视化可审计;潜在派(JEPA,LeCun 立场)认为预测像素是把模型容量浪费在不可预测的细节上------两只鸟的每根羽毛落点原则上无法预测,模型被迫学的是"羽化"而非"飞行"。JEPA 在抽象表征空间里预测:编码器把帧压成语义,预测器只推演语义如何演化,方差-协方差正则防表征塌缩:
python
def jepa_step(x_t, x_t1):
z_t, z_t1 = enc(x_t), target_enc(x_t1) # 表征空间
pred = predictor(z_t) # 预测"下一状态的语义"
return vicreg_loss(pred, z_t1) # 防塌缩: 拉近配对, 撑开方差
潜在派的风险同样具体:潜在空间是模型自己的方言 ------没有像素这一硬约束,表征可以在"预测误差很小"的意义上漂移,把物理丢在方言之外而账面全绿。所以两条路线的分歧本质是一个评测问题:用什么证明世界被理解了,而不是被描摹了。这与第 13 篇的教训严丝合缝:生成质量的可视化是所有指标里最容易 Goodhart 的一个。
三、物理直觉:涌现还是描摹
视频规模化之后出现了一批"像物理"的行为:物体恒存大致稳定、透视大体正确、光影方向对得上。但"像"与"对"之间隔着三道具体的坎:反事实 (如果我推这杯水,它会怎样------生成模型只见过发生过的,没见过差一点发生的)、因果方向 (它懂倒水的水流是因为学了流体动力学,还是因为见过的所有倒水视频都长这样)、量守恒 (数量在遮挡后对不对)。这些恰是评测能做实的地方:可交互性评测与空间推理基准(物体恒存、计数、轨迹预测、穿越遮挡)已经把分差拉出来了------大视频模型在这些题上系统性低于人类幼儿,且其错误模式(穿模、数量漂移、被纹理欺骗)更像插值失败而非理解失败。数据侧的老朋友再次到场(第 17 篇):互联网视频是观察数据,没有动作标签、没有反事实分支 ;真正的出路是可交互源------游戏引擎与世界模拟器给每个动作附上真值物理,等于给物理直觉配了 Textbook。这条数据路线与第 16 篇具身的飞轮合流:机器人采集的交互数据,就是世界模型最贵的教材;世界模型变好,机器人训练又打折------这是物理世界的 Scaling 飞轮。
四、与系列的合流
世界模型站上四篇伏线的交点:它是第 15 篇多模态的换轴续章(从"看懂"到"预演");是第 16 篇具身的地下层(VLA 里的"想一下再动"就是内部 rollout);是第 8 篇推理时计算的空间版(验证搜索换成状态搜索);是第 17 篇数据论的极限考题(最后一个没有 Textbook 的模态,直到游戏引擎与机器人把它造出来)。若它成立,系列的一句话定义需要增补:智能不仅是在语料上最小化交叉熵的 Transformer,还是在想象里最小化预测误差的模拟器------前者承接了文明的文本,后者正在承接物理世界。
一句话收束:语言模型靠读完了人类写下的书变强,世界模型必须面对一本书都没写过的科目------物理。它的Scaling 飞轮刚被造出来:引擎提供真值,机器人提供交互,想象提供廉价试错。接下来谁先让"预演"逼近"现实",谁就把智能从文本世界请进了物理世界;而那道"像与对"的裂缝,正是评测与对齐的老问题换了考场。