27届大模型面试准备（四十四）：生成式世界模型与视频生成------从 JEPA 到 Sora/Genie
引言：本篇是 A40 多模态训练与 A31 多模态推理的"世界建模"延伸
A40 讲了多模态大模型怎么把视觉编码器、投影器、图文对齐训在一起；A31 讲了多模态推理与视觉思维链。本篇再往前走一步，进入世界模型（World Model） ------不只是"看懂一张图、答好一道题"，而是让模型内部建模世界的动态规律：给定当前状态与一个动作/条件，能预测下一刻会发生什么。这是视频生成、具身智能、自动驾驶的共同底层，也是 2024--2026 最热的研究前沿。面试里能把它和"多模态理解"区分开，并讲清 JEPA、Dreamer、Sora、Genie 各自的范式，是拉开差距的关键。
一、什么是世界模型
世界模型的核心是预测未来的状态转移。形式化地，环境有一套潜状态 s_t，在动作（或条件）a_t 作用下按未知动态 f 演化：s_{t+1} = f(s_t, a_t)，并观测到 o_t = g(s_t)。世界模型就是要学一个近似 f̂ 与 ĝ，使得在潜空间里能"推演"未发生的轨迹。它有两类用途：
- 理解侧：作为表征学习的正则，逼模型抓住因果与物理规律（如 JEPA 系列）。
- 生成侧：作为"可控制的模拟器"，给定条件和动作就能合成未来视频（如 Sora、Genie）。
和纯生成模型的区别：世界模型强调动态一致性------生成的下一帧必须和前一帧、施加的动作在物理与语义上连贯，而不是逐帧无关的漂亮噪声。
二、JEPA：在潜空间做预测而非像素重建
Yann LeCun 提出的 JEPA（Joint Embedding Predictive Architecture）路线，反对"逐像素重建"（如标准自编码器），主张在表征空间里做预测：
输入 x ──► 编码器 ──► 表征 s_x
│
上下文 │ (被 mask 的部分)
▼
预测器 ──► 预测 s_y (被 mask 部分的表征)
▲
输入 y ──► 编码器 ──► 表征 s_y (目标，不重建像素)- I-JEPA：对同一图像不同掩码块，训练预测器从可见块表征预测被掩块表征，学到语义级结构。
- V-JEPA：扩展到视频，预测未来帧的潜表征，而非解码回像素，从而避开"生成每一根草叶"的无效负担，专注学动态规律。
JEPA 的哲学：不要在像素层重建（那会浪费容量在无关细节），要在语义/潜层预测，让模型学到"世界怎么变"的抽象规律。这和多模态表征学习（呼应 A40）是同一思路的不同落点。
三、Dreamer：基于模型的强化学习
Dreamer 系列把世界模型用于决策：在潜空间里"想象"未来轨迹，用想象的回报训练策略，无需在真实环境里一步步试错。
- 组件：表征模型（观测→潜状态）、动态模型（s_{t+1}=f(s_t,a_t)）、奖励模型、Actor-Critic。
- 训练：先在真实交互上训世界模型，再在"想象轨迹"上多次反向传播更新策略，样本效率远高于无模型 RL。
- DreamerV3 用更稳的归一化与离散潜变量，在无需调参下跨任务成功，证明世界模型能撑起通用决策。
对大模型面试的意义：世界模型不只是"生成视频"，更是**智能体在脑内推演"如果我这么做会怎样"**的能力基础（呼应 B40 自主智能体、B22 规划）。
四、视频生成作为世界模拟：Sora、Genie
2024 起，视频生成被重新理解为"可控制的物理世界模拟器"：
- Sora（扩散 Transformer）：把视频压缩到潜空间、切成时空 patch 当作 token，用扩散 Transformer 在潜空间去噪生成。其价值在于学到的潜空间隐式包含了物理与场景一致性，能基于文本/图像条件合成较长、较连贯的视频。关键工程：视频 tokenizer（压缩+分词）+ DiT 主干 + 时空 patch 化。
- Genie：从大量无标注网络视频中学出"动作标注"------把视频第一帧 + 学到的隐动作 token 作为条件，生成可交互的二维游戏世界。它不需要人工动作标签，靠动力学结构自己推断出"什么改变了世界状态"。
- GameGen-O / 类似工作：专门生成开放世界游戏视频，强调可控性与长时序一致。
这类工作的范式转变：视频生成不再是"美工工具"，而是世界模型的可见外壳------你给它条件，它返回一个物理自洽的未来。
五、视频理解与生成的统一
前沿正把"理解"和"生成"收进同一套表征：
原始视频 ──► 视频 tokenizer(VQ / 因果 patch) ──► 离散/连续 token 序列
│
┌───────────────────────────┤
▼ ▼
理解侧：视频 LLM 生成侧：扩散/自回归 还原视频
(问答/推理, 呼应 A31) (世界模拟, 呼应本篇)- 视频 tokenizer：把视频帧编码成离散 token（VQ-VAE 类）或连续 patch，是统一的关键（类似语言模型的 BPE）。
- 视频 LLM：把视觉 token 接进 LLM 做推理（呼应 A40/A31），但大多是"理解"而非"想象未来"。
- 统一模型：如用同一 tokenizer 既做理解又做生成，或让 LLM 输出视频 token 再由解码器还原，朝"会想未来也会说现在"的统一多模态模型走。
六、范式对比
| 范式 | 代表 | 预测空间 | 是否可控生成 | 主要用途 |
|---|---|---|---|---|
| JEPA | I/V-JEPA | 潜表征 | 否（表征学习） | 自监督表征、理解 |
| Dreamer | DreamerV3 | 潜状态+奖励 | 间接（策略） | 基于模型的 RL/决策 |
| 扩散视频 | Sora | 潜像素(去噪) | 是（文本/图条件） | 视频生成/世界模拟 |
| 隐动作生成 | Genie | 视频+动作 | 是（可交互） | 交互世界/游戏生成 |
| 统一 tokenizer | 视频 LLM | 离散 token | 部分 | 理解+生成统一 |
面试要点：JEPA 重"学规律不重建像素"，Dreamer 重"脑内想象做决策"，Sora/Genie 重"可控生成未来"------三者是同一目标（建模世界动态）的不同切面。
七、代码：一个视频 tokenizer 的最小骨架
import torch, torch.nn as nn
class VideoTokenizer(nn.Module):
def __init__(self, c_in=3, dim=256, n_codes=8192):
super().__init__()
self.encoder = nn.Conv3d(c_in, dim, kernel_size=4, stride=4) # 时空下采样
self.quant = nn.Embedding(n_codes, dim) # 码本
self.decoder = nn.ConvTranspose3d(dim, c_in, kernel_size=4, stride=4)
def encode(self, video): # video: [B,C,T,H,W]
z = self.encoder(video) # 潜表征
flat = z.flatten(2).permute(0,2,1) # [B, tokens, dim]
d = torch.cdist(flat, self.quant.weight) # 最近码本
idx = d.argmin(-1) # 离散 token 索引
zq = self.quant(idx) # 量化后潜变量
return idx, zq
def decode(self, zq):
return self.decoder(zq.permute(0,2,1).reshape_as(self.encoder(video_dummy) ...))这段把"视频→下采样潜变量→离散 token→可还原"的主链路点出来。真正视频大模型（Sora 类）就是在这个 tokenizer 之上，把 token 当序列喂给扩散 Transformer 或自回归模型做生成。理解 tokenizer 是理解"为什么视频能当语言一样生成"的第一环。
八、常见坑与训练陷阱
坑一，视频数据量与算力黑洞 ：视频比文本/图像数据重几个量级，训练极易被 IO 与显存卡死，必须做高效 tokenizer 与流式加载（呼应 A23 数据工程）。坑二，时序一致性崩坏 ：生成视频常出现物体凭空消失、光影跳变，根因是模型没真正学动态而只在做帧统计，需要更硬的时空建模与更长时程约束。坑三，物理规律幻觉 ：模型能画出"看上去对"却违背物理的视频（水倒流、重力错），因为它学的是像素分布而非因果，JEPA 式潜层预测正是为缓解这点。坑四，动作标注缺失 ：交互式世界（Genie 类）难在没人工动作标签，要靠无监督推断动作潜变量。坑五，评测失真：用 FVD/IS 类指标不一定对应"物理可信度"，需人工或专长模型评估动态合理性（呼应 A20 评测）。
深度延展：世界模型与多模态、具身、智能体的协同
把世界模型讲成一套可落地的工程，关键是把它和"多模态理解、具身智能、自主 Agent"三件事连起来。第一，和 A40 多模态训练是上下游。多模态大模型先把"看"和"说"对齐，世界模型进一步要求"想"------在潜空间推演未来，这是对多模态表征的最高要求：不仅编码当前，还要预测变化。训练上二者共享视频 tokenizer 与编码器，世界模型是多模态预训练的"进阶自监督任务"。
第二，和具身智能（呼应 B43 具身 Agent）是刚需关系。机器人要在真实世界行动，最贵的是"在真实环境试错"；世界模型给它一个"脑内 simulator"：先在想象里推演"抓起杯子会怎样"，再决定动作，样本效率与安全性都大幅提升。Dreamer 的范式直接迁移到机器人策略学习。能把"世界模型=机器人的想象力"讲清，是具身岗位的加分项。
第三，和自主智能体（呼应 B40）的规划能力同源。Agent 做长程规划，本质是"在内部世界模型里 rollout 多条未来、选最优"；一个会建模环境动态的世界模型，让 Agent 从"走一步看一步"升级为"谋定后动"。这也是为什么世界模型常被视为通向更高自主性的关键技术。
第四，视频生成的工程现实。Sora 类系统的三大件：一个高压缩比且时序一致的视频 tokenizer、一个能咬住长时序的扩散/自回归主干、一套保证物理一致性的训练目标（不只是像素 L2，还要光流/深度/语义一致性辅助损失）。缺任何一件，生成视频就会"美但假"。团队最容易低估的是 tokenizer 质量------它决定了上游模型能多好地"理解"视频语言。
第五，可信与安全风险。能生成逼真视频的世界模型，天然是深度伪造的温床；同时，模型内部若学了错误的物理/社会规律，生成的"世界"会系统性误导下游 Agent。生产上要做水印、来源标注、以及对生成内容的物理合理性校验，呼应 B16/B32 的安全视角。面试时能点出"世界模型的双刃剑"，比只讲技术更显成熟度。
第六，研究前沿的落点判断。短期看，JEPA 式表征会继续作为多模态预训练的强正则；中期看，视频生成与具身控制的统一 tokenizer 是兵家必争；长期看，一个能自我更新、与真实世界闭环校准的世界模型，是通用智能体的核心组件。被问"世界模型会不会是大模型的下一个范式"，正确回答是"它更像注意力和 MoE 之后的'能力补全'------补足模型对动态与因果的建模，而非整体替代"，并把 JEPA/Dreamer/Sora 三者分工讲清。
最后给一条面试收束：世界模型不是"又一个生成模型"，而是让模型拥有"对世界的内部推演能力"------从 JEPA 的潜层预测，到 Dreamer 的脑内想象决策，再到 Sora/Genie 的可控未来合成，本质都是"建模状态如何随动作演化"。能把这条主线讲成从理解到生成、从表征到决策的连续谱，并衔接你论文里的多模态检索增强（用检索补世界模型的实时外部知识），你就把一篇前沿主题讲出了个人辨识度。世界模型真正的魅力，在于它把"智能"从"匹配过去"推向"推演未来"------这是大模型走向 Agent 化、具身化不可绕过的下一座桥。
再补一组世界模型训练的数据工程现实，这往往是成败手。视频与具身数据的规模质量门槛远高于文本：一段真实机器人交互或一小时视频，蕴含的信息密度与标注成本都极高。主流做法是"仿真批量产加遥操作采少量真加互联网视频自监督（用世界模型当动力学教师）"三路并进，呼应 A23 的数据飞轮------合成轨迹经拒绝采样筛掉物理不合理样本，真实数据做难例与校准，形成"合成到筛选到真实回灌"的闭环。缺了这套数据纪律，世界模型要么在仿真里自嗨、要么在真实里崩。
再把视频大模型与长上下文推理的协同讲具体。视频生成与理解本质是超长时序建模，和 A30 的推理性能优化、A31 的多模态推理强相关：长视频的 tokenizer 序列可达百万 token，对 KV 管理、连续批处理、算子融合都提出极致要求（呼应 A15/A36）；而多模态推理（A31 的视觉思维链）又反过来提升视频理解与生成的一致性。一个成熟的视频大模型团队，必然同时养着"高效序列架构（A43 的 SSM 与线性注意力）、长上下文推理优化、世界模型"三拨能力，缺一不可。
最后给前沿落地的成熟度判断。短期（一年）JEPA 式表征会继续作为多模态预训练强正则、提升样本效率；中期视频生成与具身控制的统一 tokenizer 是必争高地，谁先打通"理解即生成"谁占先机；长期一个能自我更新、与真实世界闭环校准的世界模型，是通用智能体的核心组件。被问"世界模型是不是下一个范式"，正确回答是"它更像对注意力与 MoE 的能力补全------补足对动态与因果的建模，而非整体替代"，并把 JEPA、Dreamer、Sora、Genie 的分工讲清。能把这个"不是替代而是补全"的框架讲成可落地的工程判断，你在多模态前沿岗的面试里就站稳了。
再把几个代表模型的演进盘点讲具体，方便面试里举例子不空泛。JEPA 线：I-JEPA（2023，图像掩码表征预测）到 V-JEPA（2024，视频潜层动态预测）再到 V-JEPA 2（更强视频表征，用作视觉骨干喂给 LLM 或策略），主线始终是"不在像素重建、只在潜层预测"。Dreamer 线：DreamerV1/V2 在连续控制验证，DreamerV3（2023）用离散潜与稳定归一化，无需调参即跨任务成功，证明世界模型撑得起通用决策。视频生成线：从早期低分辨率短时长扩散视频，到 Sora（2024，DiT 加视频 tokenizer，长时序高一致），再到各类可交互世界（Genie 用无标注视频学出隐动作）。面试时能沿这条"表征到决策到生成"的时间线讲清各自解决的核心痛点，你就把世界模型讲成了有脉络的演进史，而非一堆孤立名词。世界模型真正的价值，在于它把"智能"从匹配过去，推向推演未来------这是大模型走向 Agent 化、具身化不可绕过的下一座桥。
再把世界模型的评测体系讲具体，避免只说"生成得好不好看"。视频与世界模型不能只靠 FVD、IS 这类分布指标，它们对"物理可信度"不敏感。前沿用 VBench 之类的多维度基准拆成：时序一致性、运动平滑、物体恒在、物理合理性、与文本或图像条件的对齐度；更硬的是"可干预评测"------给定动作条件，生成的下一帧是否在物理上合理（如推杯子它该动而非穿模）。世界模型的评测本质是"测它学到的动态对不对"，这和 A20 评测体系、B31 智能体评测的方法论同源：单一指标会骗人，必须多维权衡、且要有能抓"纸面好看、实战翻车"的对抗样本。能把世界模型的评测讲成一套工程而非一个分数，是视频与具身前沿岗的加分项。世界模型真正的考验，不在生成得多惊艳，而在它脑中的世界规律有多真。
最后提醒，世界模型当前最现实的定位是"强正则与可控模拟器"，而非"完整物理引擎"。它在视频生成、具身预训练、决策想象上已经创造价值，但距离精确预测真实世界的每一个细节仍有距离。面试时能诚实讲清它的能力边界，比把它吹成万能更显科研成熟度。把联合嵌入预测架构的表征、梦想家的决策、视频生成模型的生成三件事分工讲透，你就有了判断"什么任务该用世界模型、什么不该"的框架。世界模型真正的意义，是让模型拥有对世界的内部推演能力，而非又一个会画视频的玩具。
九、面试速答
问：世界模型和普通视频生成模型区别？
答：普通生成只求单帧漂亮；世界模型强调状态随动作的动态一致性，能作为可控模拟器推演未来，服务于理解与决策。
问：JEPA 为什么不在像素层重建？
答：像素重建浪费容量在无关细节；JEPA 在潜表征层做预测，让模型专注学语义结构与动态规律，效率和泛化更好。
问：Dreamer 怎么提升样本效率？
答：先在真实交互上训世界模型，再在"想象轨迹"里多次反向传播更新策略，减少真实环境试错，样本效率高。
问：Sora 类视频生成的关键工程是什么？
答：三件套------高压缩且时序一致的视频 tokenizer、能咬住长时序的 DiT/自回归主干、保证物理一致性的训练目标。
问：世界模型和具身智能什么关系？
答：世界模型是机器人的"脑内 simulator"，先在想象里推演动作后果再决策，提升样本效率与安全性（呼应 B43）。
十、高频追问清单
- V-JEPA 和 I-JEPA 的具体区别？（答：前者在视频上预测未来帧潜表征、学时序动态；后者在图像上做掩码块表征预测、学空间结构。）
- 视频 tokenizer 为什么是统一理解/生成的关键？（答：把视频变 token 序列，使视频能像语言一样被 Transformer 建模，理解与生成共用同一词表。）
- Genie 没有动作标签怎么学交互？（答：从无标注视频中靠动力学结构无监督推断出隐动作潜变量，用它条件化生成可交互世界。）
- 世界模型生成的视频怎么防物理幻觉？（答：加光流/深度/语义一致性辅助损失、用更强时空建模、对生成做物理合理性校验。）
- 世界模型如何接入自主 Agent 规划？（答：Agent 在世界模型里 rollout 多未来选最优，从反应式升级为谋定后动，呼应 B40。）
- 训练视频大模型最容易被什么卡住？（答：IO 与显存：视频数据重几个量级，需高效 tokenizer + 流式加载 + 数据配比，呼应 A23。）
- 世界模型的安全风险有哪些？（答：深度伪造、生成错误物理/社会规律误导下游 Agent；需水印、来源标注、合理性校验。）
- 它和扩散模型、自回归模型怎么选？（答：扩散擅长高保真去噪生成视频，自回归擅长长时序与可控 token 生成，常组合或按任务取舍。）