Veo级视频生成与可交互世界模型的技术分野

一次社交平台表态引发的误读

2025年7月ITPUB转述了一条消息,源头是谷歌DeepMind首席执行官德米斯·哈萨比斯在社交平台X上的一次互动。面对用户关于何时能玩到Veo 3生成的游戏这类调侃,他给出了一个目前不会的模糊回答,谷歌发言人随后向TechCrunch表示暂无具体计划可披露。

这句话在传播链上被迅速翻译成产品路线图,媒体开始推导谷歌是否会把视频生成模型直接搬进游戏。原文的判断其实相当克制,它把讨论拉回到两类模型的能力分界上,而不是宣布任何产品。

从工程角度看,这类表态的信息量接近于零。真正能用来做技术选型的信号只有三条:模型有没有动作输入通道,有没有可持久化的显式状态,以及推理延迟能不能落在游戏运行时的帧预算之内。缺少任何一条,视频生成模型都只能停留在被动输出的定位上。

text 复制代码
判据条目 = 动作输入通道
  视频生成模型 = 无
  世界模型 = 有,潜动作向量或离散动作编码
  可观测指标 = 是否能在生成过程中注入外部控制量

判据条目 = 显式状态
  视频生成模型 = 无,生成结束即丢弃
  世界模型 = 有,滚动上下文缓冲区或显式场景表示
  可观测指标 = 离开场景再返回,画面是否保持一致

判据条目 = 推理延迟
  视频生成模型 = 秒级到分钟级,离线批处理
  世界模型 = 毫秒级,在线逐帧推理
  可观测指标 = 单帧端到端延迟是否小于一帧的预算

两类生成系统的能力分界

视频生成模型的输入是提示词或首帧图像,输出是一段视觉序列,优化目标是画面逼真度与提示词贴合度。它不需要回答下一步会发生什么,因为下一帧完全由自身的去噪过程决定。

世界模型的输入是当前观测与一个动作,输出是对下一观测的预测,优化目标是物理一致性与可控性。它必须显式地回答如果我做了某个动作,世界会如何变化。

把两者写成函数形式,差异会非常直观。视频模型是一个从提示词到帧序列的映射,输入确定后输出随即确定,不存在交互。世界模型是一个状态转移函数,状态与动作共同决定下一状态,而动作可以来自用户输入,也可以来自智能体策略。

这一区别带来的直接后果是,视频模型输出的画面之间缺乏因果约束,逐帧之间的衔接靠视觉统计规律维持而非物理仿真维持。世界模型输出的画面之间存在因果约束,物体被推倒之后会保持倒下状态,因为这个结论被写进了模型的转移逻辑。

text 复制代码
视频生成模型
  signature = Generate prompt plus optional image to frames
  控制量 = 无
  状态 = 隐式,存在于去噪过程中的中间噪声
  失败模式 = 运镜不连贯,物体穿模,物理只在短时窗内成立

世界模型
  signature = Step state plus action to nextState
  控制量 = 有
  状态 = 显式,帧序列加动作序列的上下文
  失败模式 = 长时序漂移,记忆窗口外的一致性断裂

混合形态
    signature = VideoModel 提供视觉先验,WorldModel 提供控制
    工程收益 = 用视频模型的画质与物理直觉,叠加世界模型的动作条件
    当前状态 = 谷歌内部两条路线并行推进,尚未合并为公开端点

把这两条路线放在同一家公司的产品序列里看,定位差异会更清楚。视频生成模型服务的是创作者,产物直接被人观看,质量评价的主观感受与提示词贴合度是核心指标。可交互世界模型服务的是智能体,产物被智能体读取与训练,评价标准变成了物理规律是否成立、动作与结果的因果链是否可预测、长时序下状态是否稳定。前者优化观感,后者优化可用性,两者的评价函数几乎不重叠。

这也是为什么两条路线虽然共享视觉预训练与物理直觉的积累,却迟迟没有合并成同一个端点。把视频模型改造成动作条件化,需要引入状态机制,把世界模型改造成高保真输出,需要引入画质提升的解码器,两者的工作量和风险都不小。

text 复制代码
服务对象与评价函数对照
  视频生成模型
    服务对象 = 人类观众
    评价函数 = 主观偏好打分 成对比较 提示词贴合度
    典型产物 = 广告片 预告片 社交媒体素材 概念验证
  可交互世界模型
    服务对象 = 智能体与训练流程
    评价函数 = 物理一致性 因果可预测性 长时序稳定性
    典型产物 = 智能体训练环境 机器人仿真环境 开放世界沙盒
  混合体
    服务对象 = 人类与智能体共用
    典型用法 = 视频模型生成素材 世界模型承载交互

开源社区已经用生成式模型重做过经典开放环境,验证了这条路径的可行性,模型能够根据动作输入实时产出可玩的环境画面。但这类复现普遍卡在同一个位置,交互延迟跟不上操作节奏,长时间游玩后场景细节逐渐崩坏,玩家需要定期回到起点才能维持体验稳定。延迟与记忆衰减这两道坎,与闭源模型宣称的能力差距几乎全部集中在这两处。

Veo 3 的联合去噪结构

Veo 3模型卡中记录的技术路径是潜在扩散,扩散过程同时施加在时序音频潜变量与时空视频潜变量上。这一点是它与此前所有视频模型的分野所在。

分离式音画管线是上一代的主流做法。画面由扩散模型生成,语音由文本转语音合成,环境音与音效从素材库中检索匹配,最后由剪辑软件按时间轴对齐。这条链路的问题不在单点质量,而在误差累积。对齐偏差在长片段中会放大,角色口型与语音节奏的匹配只能做到近似,音效的响度与空间感需要人工重混。

联合去噪把音画耦合进同一个噪声调度表。声画不是两条独立信号事后对齐,而是同一次采样过程中的两个输出分支,它们在每个去噪步共享同一份中间表示。模型因此能在像素层面理解什么动作对应什么声音,这也是它能生成对话而非仅仅生成人声的原因。

text 复制代码
联合去噪调度伪代码
  latentVideo = 采样初始噪声 维度为 时序乘时空
  latentAudio = 采样初始噪声 维度为 时序
  总步数 = 调度表长度

  for step in 总步数:
    t = 调度表当前噪声水平
    预测视频噪声 = 视频分支 latentVideo 时刻 t 条件 去噪器
    预测音频噪声 = 音频分支 latentAudio 时刻 t 条件 去噪器
    latentVideo = 应用预测视频噪声 更新 latentVideo 时刻 t
    latentAudio = 应用预测音频噪声 更新 latentAudio 时刻 t

  输出视频 = 视频潜变量 解码到像素
  输出音频 = 音频潜变量 解码到波形

对照分离式管线
  音轨来源 = 文本转语音 加 素材检索 加 时间轴对齐
  对齐误差 = 随片段长度累积
  联合去噪的对齐误差 = 不存在,耦合在采样内部

原生音频的时序对齐机制

Veo 3在公开预览中展示的音频能力覆盖四个层次:对白、音效、环境底噪、以及带配器的音乐。官方描述里有一句被反复引用的话,大意是视频生成从此走出了无声时代。

对于游戏行业,原生音频的第一价值不在于画质,而在于把大量音画对齐工作从后期流水线前移到了生成阶段。NPC对话、环境风声、脚步反馈这类内容,如果能在同一次生成中一起产出,制作流程上就省掉了单独配音与混音的环节。

但这里有一条必须划清的边界。音频与视频是在同一个八秒片段内部对齐的,跨片段的一致性没有保证。角色的音色在第几个片段开始漂移,环境底噪在切换场景时是否延续,都不受模型控制。对游戏系统来说,更棘手的是反应性要求。NPC的台词应当由当前游戏状态驱动,而片段生成模型接收的是提示词,不是运行时状态。

text 复制代码
生成请求参数对照
  模型标识 = veo 3.0 generate 001,其中连字符在本文档中一律以空格替代
  端点 = POST 到 区域 aiplatform 路径 publishers google models 加 predictLongRunning
  提示词 = 镜头描述加 台词加 音效描述
  时长秒数 = 可选 4 或 6 或 8,默认 8
  分辨率 = 可选 720p 或 1080p,仅 Veo 3 系列支持,默认 720p
  画幅比 = 可选 16:9 或 9:16,默认 16:9
  候选数量 = 可选 1 到 4
  随机种子 = 可选 uint32,范围 0 到 4294967295
  人物生成策略 = 可选 allow adult 或 disallow,默认 allow adult
  负向提示词 = 可选,描述需要规避的内容
  存储位置 = 可选 对象存储桶前缀

原生音频能交付的部分
  片段内部对白与画面同步 = 可用
  片段内部音效与画面同步 = 可用
  跨片段角色音色一致 = 不保证
  跨片段环境底噪连续 = 不保证
  由运行时状态驱动的台词 = 不支持

潜动作模型的自监督信号

要理解可交互世界模型,必须理解潜动作模型。Genie初代论文把整套系统拆成三块:时空视频分词器、潜动作模型、自回归动力学模型,总参数量约110亿。

潜动作模型是其中最关键也最容易被忽略的一环。它只看相邻两帧,从两帧之间的视觉变化中反推出一个离散动作编码,用来解释这次状态跳变到底发生了什么。论文把动作词表刻意限制在八个,这个限制是设计意图而非资源不足,因为过大的词表会让模型退化成描述细节变化而失去控制语义。

这套机制解决的是一个现实难题。带动作标签的视频极度稀缺,而不带标签的互联网视频几乎无穷。Genie初代从公开可用的互联网游戏视频中筛出约三万小时数据,经过学习式分类器从更大的池子里裁剪,最终得到约六百八十万个十六秒片段,全程没有使用任何动作标注。

text 复制代码
潜动作模型训练伪代码
  输入 = 视频对 帧 t 与 帧 t 加 1
  目标 = 动作编码 z 属于 离散词表
  词表规模 = 8

  编码帧 t = 分词器编码 帧 t
  编码帧 t 加 1 = 分词器编码 帧 t 加 1
  预测分布 = 潜动作模型 输入 编码帧 t 与 编码帧 t 加 1
  损失 = 交叉熵 预测分布 与 真值动作

  真值动作的来源 = 训练数据中不存在的外部标签
  真值动作的实际定义 = 能最好解释两帧差异的动作编码

推理阶段
  用户输入 = 键盘或鼠标事件
  用户输入到潜动作的映射 = 需要额外训练,游戏动作空间远大于八个
  这是落地环节最大的一处语义鸿沟

时空分词器的压缩比取舍

视频分词器决定了下游要预测的序列长度,也就直接决定了推理延迟与显存占用。Genie初代采用的是带时空Transformer的向量量化自编码器,编码器与解码器内部都使用时空注意力,因此离散码能够捕捉运动而非把每帧孤立地压缩。

词表规模是一把双刃剑。词表大,细节保真度高,但相邻帧之间的微小扰动也会被编码成差异,潜动作模型要从中抽出的语义信号就被噪声淹没。词表小,语义干净,但物理细节在重建阶段就丢了。论文中词表为一千零二十四个条目,是在这条曲线上的一个折中点。

真正决定成本的是每帧的token数量。假设分词器把画面压成网格状离散码,网格是高度乘宽度乘时间深度的乘积,那么单帧token数乘以每秒帧数,就是动力学模型必须维持的每秒推理吞吐。这个数字是评估实时性是否可行的第一手依据。

text 复制代码
token 预算估算
  输入分辨率 = 1280 乘 720
  下采样倍率假设 = 8
  空间网格 = 160 乘 90 = 14400 个空间位置
  时间压缩比假设 = 4,每 4 帧一个时间码
  单帧等效token数 = 14400 除以 4 = 3600
  目标帧率 = 24
  每秒必须吞吐token数 = 3600 乘 24 = 86400

  解读 = 这已经是极保守的假设,实际网格更密
  若网格是 320 乘 180,单帧等效token数 = 14400
  每秒必须吞吐token数 = 14400 乘 24 = 345600

  工程含义 = 在消费级单卡上做逐帧自回归推理极其吃紧
  这正是实时世界模型必须做大量工程优化的原因

自回归动力学与显存曲线

Genie 3的公告里,作者用一句话概括了这个架构的难处:模型必须把随时间不断增长的既有生成轨迹一并考虑进来。自回归模型生成每一个输出token时都以此前全部生成为条件,轨迹越长,计算负担越重。

显存占用主要由键值缓存贡献。缓存规模与上下文长度成正比,与层数、隐藏维度、批大小成正比,与精度成反比。一个720p分辨率下24帧每秒的世界模型,其上下文每秒钟增长24帧的token量,若会话持续一分钟,缓存规模就是初始规模的一个可观倍数。

吞吐侧的约束更硬。单帧延迟必须小于帧间隔,24帧每秒对应41.67毫秒。如果模型单帧需要处理数千个token,那么单卡每秒要稳定产出八万到三十万个token,还要叠加扩散采样步数带来的多轮前向。这是把扩散模型与Transformer结合时最典型的工程瓶颈。

text 复制代码
键值缓存估算
  上下文帧数 = 一分钟乘 24 = 1440 帧
  单帧token数 = 假设 3600
  上下文token数 = 1440 乘 3600 = 5184000
  隐藏维度 = 假设 2048
  层数 = 假设 24
  键值缓存字节数 = 5184000 乘 2048 乘 24 乘 2 乘 2 乘 精度字节
  半精度下约等于 2TB 量级的理论下界

  实际系统必然采用分层压缩 滑动窗口 量化 或 重算
  公告中的一致性窗口约为一分钟,正是缓存预算与一致性的折中点
  超出窗口后模型只能靠更早的语义概括来重建场景

帧预算与实时性缺口

游戏运行时是一个硬实时系统。60帧每秒意味着每帧16.67毫秒,30帧每秒意味着33.3毫秒,超出预算就是掉帧,掉帧就是手感断裂。

公开的世界模型演示通常标注在20到24帧每秒。这个数字放在研究演示里是可接受的,放在有战斗或载具操作的游戏里是不够的。更关键的是,演示环境里的交互是预热的,模型在会话开始前已经把场景生成到可操作状态,后续只需要按输入滚动推进。

视频生成模型的服务形态与之完全相反。它是一个离线批处理服务,输入提示词后等待几十秒到数分钟返回结果,全程占用用户看不到的异步资源。把这种服务塞进游戏主循环,等于把帧预算从16毫秒扩成几十分钟。

text 复制代码
服务等级对照
  视频生成模型
    触发方式 = 异步提交任务
    返回延迟 = 数十秒到数分钟
    资源占用 = 独立实例,批量排队
    失败重试 = 提交新任务,成本另计
    适配位置 = 关卡开发期 宣传期 剧情演出烘焙

  实时世界模型
    触发方式 = 每帧同步调用
    返回延迟 = 必须小于 16.67 毫秒到 41.67 毫秒
    资源占用 = 常驻显存,与主循环同机或同卡竞争
    失败重试 = 无法重试,超时即掉帧
    适配位置 = 运行时交互 物理仿真 智能体训练

  中间形态 = 神经渲染加 splat 走 GPU 光栅化路径
    延迟 = 毫秒级且可预测
    代价 = 需要预先生成并烘焙资产,牺牲运行时自由度

降低延迟的手段在语言模型上已经相当成熟,量化、蒸馏、投机解码、键值缓存复用,每一项都能带来可观收益。但这些手段迁到扩散式的世界模型上会打折扣。量化对权重精度不敏感的前提是任务以语义推理为主,而逐像素的物理合成对数值误差更敏感,量化后的动作响应更容易出现抖动。蒸馏在自回归视频生成上可行,但每一步都要在多轮去噪与自回归解码之间选择取舍空间。投机解码依赖小模型给出草稿序列并由大模型并行验证,这在逐帧条件于动作序列的场景里,草稿模型同样需要感知历史动作,收益被削弱。

所以世界模型团队真正花力气的,往往是那些看起来很工程的部分。分层缓存策略,把最久远的帧压缩成粗粒度摘要以节省显存,窗口内的近期帧保留完整token。滑动窗口与注意力稀疏化的组合。以及在会话开始前预热生成,把首屏等待时间前置到加载界面。

视觉记忆窗口的衰减规律

一致性是世界模型最容易被高估的能力。Genie 3宣称在数分钟的持续交互中保持稳定,官方描述提到当用户离开某处后返回,先前看过的细节会被回忆起来,环境也能承受持续交互而不退化。

这个记忆不是显式三维表示。系统里没有NeRF,没有高斯泼溅,没有点云存储。一致性来自自回归生成时对早期帧的注意力,即模型在重建当前画面时直接参考历史帧。这个方案的优点是复杂度随模型容量增长而不是随场景复杂度增长,缺点是记忆会随窗口填满而优雅地退化。

退化的形态很有规律。远离摄像机的物体会漂移或改变细节,纹理表面上的图案比如树叶的具体排布或路面石块的位置会在两次访问之间变化,而更大的形体保持不变。研究者指出这种记忆更接近人类对场景的大意式回忆,而不是游戏引擎的像素级持久化。

text 复制代码
一致性衰减观察项
  近处静态物体 = 保持
  远处静态物体 = 细节漂移
  表面纹理图案 = 访问之间可变化
  被玩家移动过的物体 = 在记忆窗口覆盖范围内保持新位置
  窗口之外的状态 = 只能靠语义概括重建,可能与原始布局不符

  工程含义 = 任何依赖精确状态的玩法都不应建在记忆之上
  收藏品坐标 机关触发 谜题答案 这类逻辑必须落在外部状态机
  生成模型负责画面表现,传统引擎负责规则裁决

可提示世界事件的指令粒度

Genie 3支持会话中途注入文本指令来改变生成中的世界,官方称之为可提示世界事件。典型的指令包括让场景下雪,引入雷暴,在林线附近加入一只狐狸,或者把环境切换到夜晚。

这类能力的意义在于让智能体在训练中遇到非预设的刺激,而不必重启整个会话。人类玩家也能用它做快速的环境变体试验。

但指令粒度存在清晰的分界线。几何上精确的指令不可靠,诸如把一个红色立方体放在蓝色球体左边正好三米处,这类要求模型会给出统计意义上的合理解释而非字面执行。细微效果同样不可靠,调整色温或生成特定的音乐音效都会失败,原因是训练数据在这些维度上没有干净地分离因果。

text 复制代码
指令粒度分级
  粗粒度 = 可用
    示例 = 下雪  起雾  入夜  林线附近出现狐狸
    原因 = 全局外观分布内的变换,训练数据覆盖充分

  中粒度 = 部分可用
    示例 = 出现雷暴  水面产生尾迹  纸飞机侧滑
    原因 = 需要跨越静态外观与动态物理的联合建模

  细粒度 = 不可靠
    示例 = 红色立方体置于蓝色球体左侧三米
    示例 = 把色温调到特定数值
    原因 = 训练数据未把几何坐标与光照参数从内容中分离

  对应到游戏
    可用能力 = 关卡氛围变体 天气系统 事件驱动剧情
    不可用能力 = 精确空间摆放 数值化光照控制 确定性机关触发

采样成本与配额账单

Veo 3通过Gemini API提供的价格是视频与音频输出合计每秒零点七五美元。一次八秒片段按默认配置计费为六美元,单次请求的候选数量上限为四,四个候选全出就是二十四美元。

把这个单价放到实际生产里,数字会迅速变得刺眼。一个十分钟的过场动画按每秒零点七五美元计算是四百五十美元,而这只是理想情况下一次过的情况。真实的镜头制作需要反复调整提示词、调整首帧参考、调整负向提示词,迭代倍率通常在五到二十倍之间。

更现实的成本结构是按镜头而非按秒计算。一个需要五十个候选才选中一条的八秒镜头,实际账单是三百美元。而通过使用种子固定随机性、复用同一提示词、只在必要时提升分辨率,可以把重复率压下来,这也是接入方必须建立成本闸门的原因。

text 复制代码
成本模型
  单价 = 每秒 0.75 美元,含视频与音频
  单片段成本 = 8 秒 乘 0.75 = 6 美元
  单次请求最大成本 = 4 个候选 乘 6 = 24 美元
  十分钟成片素材成本 = 600 秒 乘 0.75 = 450 美元

  加入迭代倍率
    典型倍率 = 5 到 20
    十分钟素材真实成本区间 = 2250 美元 到 9000 美元

  降本手段
    固定种子后复用相同参数以获得确定性复现
    先用 720p 与单候选做方向筛选再提分辨率
    只在最终入选片段上开启候选数量上限
    为每类镜头建立提示词模板库避免反复从零撰写

  必须设立的成本闸门
    单镜头预算上限 = 人工配置
    每日预算上限 = 人工配置
    超限后的动作 = 转人工或降级到离线渲染

离线资产链路的工程接口

把视频生成模型用在游戏上,最现实的落点不是运行时,而是资产管线。过场动画、剧情预告、概念验证片段、营销素材、界面演示,这些都处在离线烘焙的位置上,与现有资产管线的接入方式完全一致。

具体链路是生成得到视频文件,转码成引擎可读的视频纹理,挂到场景里的播放组件上。Unity侧的VideoPlayer组件与Godot侧的VideoStreamPlayer组件都能承担这一职责,材质上也支持把视频纹理接到发光通道上做风格化处理。

离线定位还有一个隐性好处,就是容错成本。运行时失败会导致卡顿与崩溃,而离线失败只是浪费一次调用预算。加上成本闸门与候选筛选,离线链路的失败模式是可接受的。

text 复制代码
离线素材入库流程
  步骤一 = 提示词模板命中
    输入 = 镜头用途标签 加 角色标识 加 场景标识
    输出 = 结构化提示词
  步骤二 = 生成候选
    模式 = 720p 单候选起步
    种子 = 按镜头标识固定便于复现
  步骤三 = 自动初筛
    维度 = 时长 音轨存在性 分辨率 帧率 首尾帧静帧检测
  步骤四 = 人工选片
    输出 = 入选片段标识
  步骤五 = 提规格重生成或超分
    模式 = 1080p 四候选
  步骤六 = 转码入库
    封装格式 = mp4
    视频编码 = h264
    音频编码 = aac
    码率策略 = 恒定质量或受控上限
    关键帧间隔 = 与引擎解码缓冲匹配
  步骤七 = 引擎侧挂载
    组件 = VideoPlayer 或 VideoStreamPlayer
    循环策略 = 按剧情需要
    内存驻留 = 按平台内存预算决定是否预加载

视频纹理在运行时并不是免费的。解码走的是硬件解码单元,解码后的帧缓冲驻留在显存里,一段1080p的过场动画在显存占用上通常相当于若干张同分辨率的贴图。同时视频是线性介质,引擎在运行时对某一时刻的帧做随机访问需要解码到该位置,随机访问成本远高于普通贴图。因此成熟的做法是把过场动画预解码为帧序列或使用流式纹理方案,避免在战斗与交互过程中触发解码抖动。

真正适合直接挂载视频纹理的是低频访问场景,比如环境大屏、招牌、传送门画面、直播背景。这些位置不参与高频采样,视频的线性访问特性反而是优势。

高斯泼溅与网格导出

另一条与游戏结合更紧的路线来自空间智能方向。世界实验室的Marble能够从纯文本、单张图像、视频或粗略的三维结构生成高保真且可持久的三维世界,输出支持高斯泼溅、网格与视频三种形态。

这条路线最关键的产品决策,是把生成结果外化成可检查、可版本化、可复用的构件。World Labs在自己的技术博客里用一个比喻说明这件事,生成的世界若能导出为具体的表示,它就成了可以检视、验证、提交版本、测试和二次利用的产物,组合式管线随之成立。

同一篇博客里还有一个对比值得记住。在二维动画里每一帧都要重画,等于每秒重建世界几十次。在三维里世界只构建一次,之后只是移动摄像机、改变光照、驱动物体,一次空间编辑会自动传播到所有渲染帧。这与代码和执行的关系是同构的,改一次源再跑一遍,而不是重写全部输出。

text 复制代码
空间生成到引擎的导出链路
  输入形态 = 文本 单图 多图 全景图 视频 三维粗模
  世界生成结果 = 可导航可持久的世界
  中间表示 = 高斯泼溅
  导出格式 = ply
  补充产物 = 可编辑网格 物理碰撞体 环境音景
  目标引擎 = Unreal Engine 5 与 Blender
  辅助工具链 = 网格生成模型 三维高斯插件 图像清理 音效合成

  性能权衡
    泼溅密度 = 越高越清晰,显存与填充率开销越大
    场景模块化 = 减少透明物体重叠带来的排序问题
    网格化耗时 = 高质量网格生成通常在小时级
    运行时预算 = 需要在引擎渲染管线内实测帧时间

  导出前必须补的人工工序
    材质定义修正  透明处理  穿帮修补  光照烘焙对接
    生成资产直接进引擎几乎都需要这一轮清理

评测口径与主观偏好的陷阱

Veo 3的模型卡记录了官方评测方式,使用Meta发布的MovieGenBench基准,该基准包含一千零三个视频提示词与五百二十七个视频加音频提示词。对比的模型包括Movie Gen、Kling 2.0、MiniMax、Sora Turbo、Runway Gen 3与WAN 2.1,音频任务则对比Kling 2.0配合MMAudio音效模型。

这里需要清醒认识一个问题:公开记录中的全部量化对比都来自厂商自身,没有第三方复现。人类偏好评测尤其如此,它衡量的是评委在成对比较中的选择,而不是任何绝对意义上的画质指标。

还有一个容易被忽略的变量。Vertex AI的文档里专门有一页讲如何关闭Veo的提示词改写器,默认情况下提示词会被Gemini改写后再送入模型。这直接影响复现性,同一个原始提示词在开启与关闭改写器时得到的结果不同。种子只有在其他参数不变时才能保证确定性,参数一变,同一种子也会走出另一条采样轨迹。

text 复制代码
可复现性配置清单
  模型标识 = 固定到具体版本
  提示词改写器 = 明确开启或关闭,不要依赖默认值
  随机种子 = 固定
  分辨率 = 固定
  时长秒数 = 固定
  画幅比 = 固定
  负向提示词 = 固定
  候选数量 = 固定
  存储位置 = 固定到同一桶同一前缀

  评测设计要点
    区分画质评测与控制能力评测,不要混成一个分数
    控制能力评测必须给出可验证的判定条件
    成对比较优于绝对打分,但需要随机化左右顺序
    同一提示词的不同种子结果应作为多个样本统计
    报告样本量与置信区间,避免用少量样本下强结论

还有一层合规问题对游戏行业尤其重要。生成内容的溯源机制已经落地,Veo系列输出带有SynthID隐形水印,同时支持C2PA内容凭证规范。人物生成策略参数提供了允许成年人物与禁止生成人物与面部两个档位,默认值是允许成年人物。

对游戏行业来说,这两项的实际影响集中在角色资产上。以真实人物肖像为参照生成的镜头涉及肖像权与授权问题,把生成的人脸用于可玩角色还涉及玩家侧的深度伪造争议。人脸层面的内容凭证虽然不保证在二次剪辑后仍然保留,但至少提供了溯源的可能。稳妥的做法是把生成模型限制在环境、道具、氛围与非具象角色上,涉及人物形象的部分走传统角色制作管线,把生成模型用在背景板与过场素材。

text 复制代码
合规要点
  溯源 = SynthID 隐形水印 加 C2PA 内容凭证
  肖像风险 = 以真人照片为参照生成的人脸镜头
  角色风险 = 生成人脸直接用作可玩角色
  建议策略 = 生成模型负责环境 道具 氛围 过场背景
  建议策略 = 具象角色走传统制作管线与配音录音
  建议策略 = 团队自行建立素材来源台账并保留生成记录

落地路线与选型判据

综合上面这些技术约束,可以给出比较清晰的判断。

关于剧情与叙事内容,视频生成模型已经可以直接进管线,关键不在模型能力而在工程配套,提示词模板库、候选筛选流水线、成本闸门与种子管理,缺一项都会让成本失控。

关于运行时交互环境,不要指望把视频生成模型塞进游戏主循环,帧预算与服务形态都不匹配。更现实的是转向高斯泼溅与网格路线,先烘焙再渲染,或者等待实时世界模型的推理效率取得实质突破。

关于智能体训练环境,混合路线值得投入,视频生成模型作为教师模型生成视觉先验与场景素材,世界模型作为学生模型在可交互环境里展开长时序rollout,用前者补后者的画质,用后者补前者的可控性。

关于美术管线,空间生成模型配合人工清理已经可以进入中小规模团队的日常流程,节省的主要是从二维概念图到可导航三维场景之间的建模工时。

最终的选型判据可以压缩成一张清单,看这六项就能定位一个模型的适用位置。

text 复制代码
选型判据清单
  有无动作输入通道 = 决定它是不是世界模型
  有无显式状态表示 = 决定它能不能承载玩法逻辑
  单帧端到端延迟 = 决定它能不能进运行时
  一致性记忆窗口长度 = 决定它能承载多长的交互
  导出格式与下游工具链 = 决定它能不能进资产管线
  成本模型与配额策略 = 决定它能不能规模化使用

  最终判断
    视频生成模型今天的正确定位是内容生产工具
    可交互世界模型的正确定位是模拟器与训练环境
    两者共享视觉先验与物理直觉,尚未合流
    游戏行业最先吃到红利的是离线资产生产环节
    运行时交互环节需要等到推理效率与显式状态两项同时就位

回到最初那条被广泛传播的表态,它之所以引发联想,是因为视频生成与游戏世界在观感上确实已经难以区分。但从工程视角看,决定一个模型能否进入游戏的从来不是画面像不像游戏,而是它有没有动作入口,有没有状态留存,推理延迟能不能塞进帧预算。这三个问题不需要等任何高管发言,模型卡和接口文档里都已经写明答案。

相关推荐
feasibility.9 天前
LeCun团队世界模型JEPA首登无人机:9K参数模型,零样本Sim-to-Real飞入100Hz闭环
论文阅读·嵌入式·无人机·具身智能·世界模型·杨立昆·jpea
feasibility.21 天前
世界模型WSM技术解读:SLAM内化为具身智能的状态记忆,纯RGB机器人导航反超RGB-D
人工智能·机器人·aigc·slam·导航·具身智能·世界模型
猫先生Mr.Mao23 天前
让动作先接受“未来检验”:ThinkWorld 如何用世界想象强化机器人推理
机器人·强化学习·具身智能·vla·世界模型·thinkworld
杀生丸学AI1 个月前
【世界模型】World Observer:面向持久世界建模的联合主体-观察者生成器
三维重建·3dgs·世界模型·空间智能·大场景重建·流式重建·前馈式重建
杀生丸学AI1 个月前
【世界模型】WorldCrafter:基于隐式三维感知记忆的视频世界模型
人工智能·三维重建·扩散模型·视频生成·世界模型·4dgs·动态重建
I Am a robert girl1 个月前
HelixWorld 源码剖析:当世界模型第一次“开口说话”
python·多模态·扩散模型·世界模型·自回归·空间音频·流式推理
RockHopper20251 个月前
AI时代模型生命周期与软件资产重构:概要版
人工智能·系统架构·软件工程·ai编程·世界模型
I Am a robert girl2 个月前
从零读懂世界模型的持续学习:一份组合式基准的源码级拆解
学习·具身智能·持续学习·灾难性遗忘·机器人学习·世界模型·组合式基准