**摘要：**交互式世界模型作为生成式系统的前沿方向，正在重塑游戏生成与具身智能仿真的技术范式。本文介绍 LingBot-World 2.0（亦称 LingBot-World-Infinity）的技术架构与核心创新。该模型通过因果预训练范式实现无界交互时域下的质量稳定性，借助蒸馏策略达成 720p 分辨率与 60fps 的实时生成能力，并引入包含战斗、射箭、施法、射击在内的多样化交互动作与文本驱动事件。此外，研究团队首次将智能体框架（Agentic Harness）引入世界模型领域，通过导演智能体与飞行员智能体的协同机制，实现无需人工脚本编排的自主世界演化。相关模型与工具链已全面开源。
一、从秒级到小时级：世界模型的稳定性跃迁
近年来，交互式世界模型（Interactive World Models）作为能够逐帧合成环境并响应用户或智能体动作输入的生成系统，已逐渐成为游戏生成与具身智能仿真的重要技术基底。得益于因果式（自回归）视频生成技术的持续突破，这类模型在理论上可以渲染出一个无限延展、实时响应的可探索世界。然而，将这一理论愿景转化为可用系统，仍面临两大核心挑战。
第一，长时程稳定性。由于每一帧的生成都依赖于此前已生成的帧，误差会不断反馈至模型并累积，导致纹理模糊、几何畸变、场景逐渐偏离合理世界。现有多数系统通常仅能在数秒到数分钟内保持视觉稳定，距离"可居住"世界的持久性要求相去甚远。第二，高保真交互的实时性。在渲染细节视频的同时响应实时输入，对计算资源提出了极高要求。此前工作往往以牺牲分辨率、流畅度或可控性为代价换取交互性，用户最终获得的体验仅限于在近乎静态的场景中进行粗略的相机移动。
研究团队认为，上述两大局限正是当前模型与真正开放式世界之间的关键壁垒。LingBot-World-Infinity 的设计直接针对这两个问题展开。其核心思路是：首先训练一个能够抵抗误差累积的因果视频生成骨干网络，该骨干网络在质量保持方面显著优于现有开源模型，并作为蒸馏阶段的优质教师模型；随后，通过蒸馏得到的学生模型使系统具备实用价值------它能够在足够高的分辨率与帧率下维持一个永无止境的可探索世界。研究团队通过一次长达一小时的不间断生成会话对该主张进行了压力测试，结果表明模型质量未出现可见衰减，证明其稳定性是结构性特征，而非仅存在于特定片段中的短暂现象。
图1：LingBot-World-Infinity 生成涵盖古代遗迹、沙漠滑行、魔法战斗、未来都市、太空探索等无限世界，支持多样化实时交互。
二、四大技术升级：从骨干网络到实时部署
相较于前代版本，LingBot-World-Infinity 实现了四个维度的显著升级。论文明确指出，这些升级共同构成了当前开源世界模型的能力新边界。
-
无界交互时域：
通过精心设计的因果预训练范式，模型在保持输出质量一致性的前提下，实现了理论上无限长的交互时长。
-
实时响应能力：
从基础模型中蒸馏出实时变体，系统响应速度足以驱动 720p 视频流以 60fps 流畅运行。
-
多样化交互元素：
动作空间从基础导航扩展至攻击、射箭、施法、射击等丰富类型，同时支持更多文本驱动事件。
-
智能体框架集成：
首创性地将智能体框架引入世界模型领域，导演智能体负责合成新环境元素，飞行员智能体规划并执行角色行为。
在模型规模方面，研究团队提供了 14B 参数的主模型与 1.3B 参数的轻量模型两种选择。后者支持在单张 GPU 上轻松部署，显著降低了研究者和开发者的使用门槛。论文同时公布了项目网站、GitHub 仓库与 HuggingFace 模型权重，形成了从训练到部署的完整开源链路。
三、数据引擎：多源异构数据的精细化治理
高质量数据是训练交互式世界模型的基石。为了构建一个能够响应时变指令与控制信号的统一数据集，研究团队设计了一套包含数据获取、数据画像与多维标注三个阶段的数据引擎。
在数据获取阶段，语料库由三个互补来源整合而成：自采集的第一人称视角视频、来自游戏与虚幻引擎环境的合成数据，以及大规模网络视频。第一人称视频捕捉真实世界中的自然手部与物体交互行为；合成数据提供精确的场景几何与时间上对齐的交互信号（如跳跃、攻击、驾驶、飞行），这些信号在野外视频中难以可靠恢复，但对学习可控状态转移至关重要；网络视频则提供可扩展的开放域覆盖，使模型接触到长尾视觉概念。
数据画像阶段采用技术过滤与视觉语言模型（VLM）画像相结合的策略。首先通过解码验证、镜头边界检测（TransNet V2）、基础约束筛选（时长、分辨率、解码稳定性）剔除明显不合格的片段。随后，技术评分从视觉质量、亮度范围、OCR 文本占用率、运动统计与编码稳定性等维度进行综合评估。通过画像保留的候选片段进一步经由 VLM 进行语义画像，产出质量属性（编辑伪影、视觉证据模糊度）与语义属性（视角、活动类别、交互模式）两组标签，为后续的数据平衡与提示路由提供依据。
图2：LingBot-World-Infinity 整体架构。系统从初始图像与背景描述初始化，基于历史上下文与用户输入（相机位姿与提示词）自回归生成未来世界状态。
四、因果世界模型：MoBA 注意力与流匹配训练
研究团队将世界模拟形式化为沿时间轴的因果生成过程。根据休谟因果律------"原因必须先于结果"------每一时刻的视觉状态仅依赖于历史视觉观测与当前用户输入。具体地，设视频帧序列为 m a t h c a l V = x _ 1 , x _ 2 , l d o t s , x _ T \\mathcal{V}=\\{x\_1, x\_2, \\ldots, x\_T\\} mathcalV=x_1,x_2,ldots,x_T，用户输入序列为 m a t h c a l A = a _ 1 , a _ 2 , l d o t s , a _ T \\mathcal{A}=\\{a\_1, a\_2, \\ldots, a\_T\\} mathcalA=a_1,a_2,ldots,a_T，则在因果假设下，联合概率可分解为：
p _ t h e t a ( x _ 1 : T m i d a _ 1 : T ) = p r o d _ t p _ t h e t a ( x _ t m i d x _ < t , a _ l e q t ) p\\\theta(x\{1:T} \\mid a\{1:T}) = \\prod\t p\\\theta(x\t \\mid x\{<t}, a\{\\leq t}) p_theta(x_1:Tmida_1:T)=prod_tp_theta(x_tmidx_<t,a_leqt)
其中 t h e t a \\theta theta 参数化世界转移与动态。模型通过在大规模视频数据上最大化该因果似然进行学习。
4.1 双向与自回归混合注意力（MoBA）
在预训练阶段，模型需要同时兼顾自回归生成的因果约束与视觉保真度。纯教师强制（Teacher Forcing）掩码下，模型预测当前状态时仅访问自身与历史干净上下文。然而研究团队发现，随着上下文增长，模型倾向于过度依赖历史而非预测未来帧，导致过拟合与视觉质量下降。
为此，论文提出双向与自回归混合注意力掩码（Mixture of Bidirectional and Autoregressive Attention Mask, MoBA）。该机制在教师强制掩码的基础上，追加一个双向全注意力组件。自注意力 MoBA 掩码从教师强制开始，每个噪声帧仅关注自身及其干净上下文；随后集成的双向组件（掩码右下角的完整块）使模型能够适应灵活长度的视频生成，并促进从双向到自回归生成的过渡。双向组件同时充当正则化器，缓解纯教师强制的过拟合问题，避免视觉质量退化。
对应的交叉注意力掩码也做了匹配设计：对于教师强制组件，每帧关注背景提示与当前及所有先前片段的块级提示，以低三角模式防止未来语义泄漏；对于双向组件，则使用描述整个视频所有事件的全局提示，遵循标准实践。
4.2 动作表示与训练目标
在 LingBot-World-Infinity 中，动作包含两种用户输入形式：相机位姿与文本提示。对于相机控制，研究采用 Plücker 嵌入表示每个像素的观测射线，通过自适应层归一化（AdaLN）机制将控制信号融入扩散过程，避免破坏预训练视觉先验。对于文本控制，采用块级提示实现自回归视频生成，每个视频片段分配独立标题，实现时间局部化的语义控制。
训练方面，模型采用条件流匹配目标。对于每帧 i i i，构造噪声潜在变量 x _ i t = ( 1 − t ) x _ i + t e p s i l o n x\_i^t = (1-t)x\i + t\\epsilon x_it=(1−t)x_i+tepsilon，其中 t s i m U ( 0 , 1 ) t \\sim U(0,1) tsimU(0,1)， e p s i l o n s i m m a t h c a l N ( 0 , m a t h b f I ) \\epsilon \\sim \\mathcal{N}(0, \\mathbf{I}) epsilonsimmathcalN(0,mathbfI)，并训练网络 v _ t h e t a v\\\theta v_theta 预测流速度：
m a t h c a l L _ t e x t f m = m a t h b b E _ x , i , t , e p s i l o n ∣ v _ t h e t a ( x _ i t , t m i d x _ < i , p _ l e q i , a _ l e q i ) − ( e p s i l o n − x _ i ) ∣ 2 \\mathcal{L}\{\\text{fm}} = \\mathbb{E}\{x,i,t,\\epsilon} \\| v\\\theta(x\i^t, t \\mid x\{<i}, p\{\\leq i}, a\_{\\leq i}) - (\\epsilon - x\i) \\|^2 mathcalL_textfm=mathbbE_x,i,t,epsilon∣v_theta(x_it,tmidx<i,p_leqi,a_leqi)−(epsilon−x_i)∣2
目标速度遵循整流流插值，条件变量包括历史干净上下文、相机位姿与提示词。
五、后训练蒸馏：从多步到少步的实时化
预训练教师模型虽然能够生成高质量帧，但每帧需要多步去噪，计算开销对于交互式应用而言过于昂贵。后训练阶段的核心任务是将多步因果扩散世界模型压缩为适合实时交互的少步生成器，同时缓解长时自回归展开中的误差累积。
5.1 一致性蒸馏
研究团队将教师模型蒸馏为一致性模型 G _ t h e t a G\\\theta G_theta，该模型从中间噪声潜在变量预测轨迹不变的目标。具体而言，位于同一教师概率流 ODE（PF-ODE）轨迹上的潜在状态，在 G _ t h e t a G\\\theta G_theta 下应映射到相同预测。设 x _ i t x\i^t x_it 为帧 i i i 在扩散时间 t t t 的潜在状态， t i l d e x _ i t − D e l t a t \\tilde{x}\i^{t-\\Delta t} tildex_it−Deltat 为通过教师 PF-ODE 从 ( x _ i t , t ) (x\i^t, t) (x_it,t) 积分到 t − D e l t a t t-\\Delta t t−Deltat 得到的潜在状态，则在因果条件 c = ( x _ < i , p _ l e q i , a _ l e q i ) c=(x\{<i}, p\{\\leq i}, a\{\\leq i}) c=(x_<i,p_leqi,a_leqi) 下，最小化相邻轨迹点之间的局部一致性损失：
KaTeX parse error: Undefined control sequence: \[ at position 47: ...mathbb{E} \\big\̲[̲ d\\big(G\_\\th...
其中 d ( c d o t , c d o t ) d(\\cdot,\\cdot) d(cdot,cdot) 为距离度量， t h e t a − \\theta^- theta− 表示学生参数 t h e t a \\theta theta 的指数移动平均。优化该目标将教师的多步去噪轨迹蒸馏为少步学生生成器，同时保留预训练阶段习得的动作条件动态。
5.2 分布匹配蒸馏
一致性蒸馏虽大幅降低采样成本，但得到的少步学生生成器仍可能在视觉保真度与长时自展开中面临退化与漂移累积。为进一步精炼学生模型，研究采用分布匹配蒸馏（DMD），通过优化噪声学生分布与噪声数据分布之间 KL 散度的梯度进行训练。设 h a t x _ i \\hat{x}\_i hatx_i 为学生生成样本， h a t x _ i t \\hat{x}\_i^t hatx_it 为其前向扩散至时间 t t t 的噪声版本，则目标梯度为：
KaTeX parse error: Undefined control sequence: \[ at position 34: ...\mathbb{E}\\big\̲[̲D\_{\\text{KL}}...
其中 s _ t e x t r e a l s\{\\text{real}} s_textreal 与 s _ t e x t f a k e s\{\\text{fake}} s_textfake 分别近似噪声数据分布与当前噪声学生分布的得分函数。为提高部署时动态下的鲁棒性，DMD 在长自展开轨迹上而非仅在教师强制状态上应用，使学生在其自身预测诱导的状态分布上得到优化，从而减少扩展自回归展开中的累积漂移。
六、Agentic 交互框架：导演与飞行员的协同
尽管标准视频生成模型擅长合成短期视觉动态，但其本质上缺乏开放式、逻辑化世界模拟所需的因果推理能力。为弥合被动视频生成与交互式世界建模之间的鸿沟，研究团队提出了导演-飞行员协同仿真框架（Director-Pilot Co-Simulation Framework）。
图3：Agentic 交互框架概览。用户可通过语义交互或对象交互两种模式参与世界演化，VLM（导演）负责场景分析与事件提案，视频生成器（飞行员）将语义决策转化为物理一致的视频展开。
在这一架构中，视觉语言模型（VLM）担任世界的"导演"，负责宏观语义规则与因果推理；底层视频生成器（扩散 Transformer）充当"飞行员"，负责模拟底层物理动态并渲染高保真视觉过渡。VLM 持续分析当前视觉现象，预判用户交互的逻辑后果，并制定明确的"事件提案"。这些提案随后输入视频模型，由后者将语义指令转化为连贯的时空展开。
6.1 两种交互模式
为适应不同粒度的交互需求，框架设计了两种交互模式。模式 A 为直接语义交互：VLM 直接分析当前帧，为主体（如用户化身）生成动态事件卡片。当用户触发交互时，VLM 评估场景上下文并即时提出逻辑后果，无需显式对象掩码即可实现与环境的无缝整体交互。
模式 B 为追踪辅助对象交互：针对精确的对象中心操作，系统集成基于 SAM（Segment Anything Model）的动作提案循环。VLM 识别场景中的特定交互元素（如非人形物体）并分配针对性动作提案，SAM 在视频片段间持续追踪这些对象以保持空间一致性。用户可选择追踪对象并触发特定动作（如"按住切换"机制），VLM 随后推断被追踪对象的状态变化，将更新后的语义条件传递给视频模型执行精确动态。
6.2 世界干预能力
除物理交互外，框架允许用户以"创造者"身份通过文本提示直接干预世界状态。用户可提出任意事件以改变模拟轨迹，VLM 智能体处理这些干预以确保其被逻辑地整合到持续叙事中。该能力支持全局状态转移（如昼夜更替、天气变化、全局事件）与局部实体注入（如召唤鸟群或特定生物）。VLM 确定这些实体最合理的空间与时间切入点，视频模型则将其无缝渲染到现有物理空间中。
七、系统部署：实时性与用户体验
实现实时交互视频生成需要在低延迟、丰富交互能力、高视觉质量与友好界面之间取得平衡。研究团队围绕四个维度构建了推理栈：系统级优化、智能体交互框架、视觉质量增强与用户界面设计。
7.1 系统级优化
在模型推理效率方面，研究团队对蒸馏后的 DiT 骨干应用了编译器优化与高效注意力核，降低运行时开销并加速迭代去噪过程。进一步采用混合并行推理策略，在多个 GPU 间分配计算并保持高效通信，实现对长视频序列的可扩展推理。为避免下游瓶颈，潜在变量生成与帧重建被异步流水线化：潜在生成无需等待图像解码完成，VAE 解码在专用工作线程上并行执行，从而提升硬件利用率并缩短视频生成的关键路径。
在流式响应方面，系统不再等待整个视频片段解码完成，而是增量式地流式传输解码结果，使解码、传输与后续生成能够重叠执行。此外，高效的视频流传输管道将延迟降至最低，缩短了从用户输入到首帧可见的响应时间。
7.2 动态 KV 缓存管理
实时系统的关键组件之一是动态 KV 缓存调度机制。系统并非为每个推理片段维持固定上下文，而是根据当前控制信号与输入状态自适应调整缓存。通过将缓存条件化于该上下文，系统保留对当前片段最具信息量的历史记录，同时丢弃贡献较小的条目。这种选择性调度带来双重收益：一是减少模型必须关注的有效上下文，加速推理并维持实时吞吐量；二是通过聚焦最相关的历史信息，抑制陈旧或无关内容的干扰，提升生成帧的质量与连贯性。
7.3 用户界面设计
交互界面围绕三个区域组织。中央区域为实时生成视口，世界在此实时渲染并立即响应用户输入。底部面板提供低层控制方案，WASD 键控制移动，IJKL 键控制视角，使相机导航对熟悉标准游戏控制的用户而言直观自然。右侧面板为智能体控制界面，列出由"导演"（VLM）生成的"事件提案"，每个提案绑定一个热键。
图4：系统交互界面。中央为实时生成视口，底部为 WASD/IJKL 控制面板，右侧为 VLM 生成的事件提案列表，支持固定动作键与上下文感知动作键。
事件热键分为三组：固定键（如空格触发跳跃、P 触发滑翔）始终可用；VLM 持续根据当前场景提出上下文感知事件，角色动作绑定 U 和 O（如近战与远程动作），环境变化绑定 F 和 G（如巨鲸掠过或黄昏降临）；数字键（1、2、3......）为用户自定义事件槽，用户可注册任意希望看到的事件，直接参与世界演化。在图中所示示例中，可控主体为翱翔于云海之上的雄鹰，用户在数字键 1 至 3 上注册了俯冲、暴风雨与急转弯等事件。
八、实验验证：一小时不间断生成的稳定性
研究团队从两个维度对模型进行评估：面向交互部署的实时因果蒸馏模型，以及作为蒸馏教师的基础因果预训练模型。
8.1 与现有工作的对比
在实时蒸馏模型的对比中，研究团队将其与最先进的闭源系统 HappyOyster、Genie 3，以及领先的开源交互世界模型进行了基准测试。评估维度涵盖视觉保真度、长展开时序稳定性、动作响应性与实时吞吐量。论文结果表明，该模型在视觉质量上与最强闭源基线相当或更优，同时保持完全开源；并且它是比较范围内唯一能够在实时条件下维持高分辨率生成而不出现可见退化的系统。此外，模型支持更为丰富的交互类型。
图5：与现有方法的定性对比。在灭火器场景与摩托艇场景中，LingBot-World 2.0 在 60 秒长展开中保持了纹理清晰、几何稳定与物理一致，而部分基线在 15 至 25 秒时已出现明显退化。
8.2 长时程稳定性压力测试
为探查模型在长时展开中的极限，研究团队生成了一次超过一小时的单一不间断会话，从该会话中采样了 20 个不同场景的帧。如图 6 所示，时间线覆盖从竹林运河到地球视窗的丰富场景，模型在整个运行过程中视觉质量未出现可感知衰减，世界从开始到结束保持连贯且可探索。这证实了模型的稳定性是结构性属性，而非仅在有利片段上观察到的短暂效应。
图6：一小时世界展开时间线。从竹林运河出发，历经运河小镇、交通流、石拱廊、夜城、苔藓遗迹、悬崖神殿、花园池塘、锅炉房、宫殿小径、蓝色档案室、温室、雪码头、船厂甲板、轨道视图、日光缝隙、灯笼池、花庭、月庭，最终抵达地球视窗。20 个场景结构连贯、视觉质量稳定。
8.3 预训练骨干的对比优势
在因果预训练骨干的评估中，研究团队在匹配设置下将其与先前的因果世界模型进行对比，重点关注视觉保真度与长时程稳定性。结果表明，该骨干网络在视觉质量与稳定性上均持续优于竞争模型。虽然先前的因果模型在数秒到数分钟内因误差累积而退化，但该模型在显著更长的展开中仍保持纹理锐利、几何稳定与场景连贯。研究团队将这一优势归因于抗漂移训练，该训练明确阻止模型在自身预测上累积误差。
九、局限性与未来方向
论文在结论部分坦诚讨论了当前模型存在的若干局限，并指出了值得进一步探索的方向。
首先是长期记忆问题。尽管模型在长时程上保持视觉稳定，但它并未真正"记住"已生成的世界：当某个区域离开上下文窗口后再次访问时，往往会被重新生成而非被回忆。因此，世界在外观上是持久的，但在身份上并非持久。研究团队正在探索动态 KV 缓存调度等机制以保留更大且更相关的历史，但这面临内存成本随视界增长而可用预算有限的固有张力。赋予交互式世界模型真正的紧凑型长期记忆仍是一个开放问题。
其次是身份与风格一致性。在极长展开中，特定角色的外观可能微妙变化，整体艺术风格也可能逐渐漂移，即使场景整体保持连贯。第三是物理理解的局限。模型纯粹从像素中学习动态，缺乏显式的几何或碰撞概念，因此对底层物理的把握并不完美，偶尔会出现角色或物体相互穿插而非碰撞的物理不合理现象。赋予模型更忠实的物理交互感知是未来工作的重要方向。
最后，尽管蒸馏模型已能实时运行，但仍需要相当的计算资源。在消费级硬件上实现实时高保真世界建模，需要效率方面的进一步提升，研究团队视其为未来的重要发展方向。
十、结语
LingBot-World-Infinity 代表了开源交互世界模型的重要进展。它通过因果预训练与抗漂移设计，实现了在小时级别仍保持视觉稳定的连续生成；通过一致性蒸馏与分布匹配蒸馏，将高质量生成压缩至 720p/60fps 的实时交互标准；通过导演-飞行员智能体框架，将被动视频生成器转化为自维持、目标导向且开放式的可探索世界；通过多样化的动作空间与文本驱动事件，使用户能够真正参与世界演化而非仅仅穿行于静态景观。
该研究已全面开源模型权重、代码与交互界面，为学术界与产业界提供了可复现、可扩展、可部署的开放世界模型基座。随着长期记忆、物理一致性与边缘部署效率等方向的持续突破，交互式世界模型有望在游戏生成、具身智能仿真与虚拟环境构建等领域释放更大潜力。
本文基于论文《Infinite Worlds with Versatile Interactions》（arXiv:2607.07534v1）整理
论文作者：Zelin Gao, Qiuyu Wang, Jiapeng Zhu 等，ANT GROUP
具身智能&世界模型blog： https://jinxindeep.github.io/blog/blog2026.html