H3 -World 接入 Game Agent:谁来判断门真的打开了?

作者机制示意或待执行语义对齐安排;没有游戏、 模型 或训练实测。
让 Agent 看一张游戏首帧,提出"向前走,再打开门",然后让 H3-World 生成后续画面,这条演示链路很容易理解。画面里人物走近门,门也出现了开启的样子。接下来,Agent 是否应该收到一次开门奖励,能否把门后的房间加入已探索地图?
问题就出在这个"接下来"。生成的视频提供了新的 视觉 材料,却没有自动给出游戏规则的结算。门是否锁着、钥匙是否消耗、角色有没有穿过碰撞体,是另一些变量。把这些结果从视频里读出来,可以形成感知估计;把估计直接写回权威状态,则等于让生成器和识别器共同决定任务是否完成。
固定源码给出了一个很具体的起点。H3-World 官方 推理 脚本接收首帧、场景提示与动作条件,调用管线后得到 video, audio,再写出媒体文件。它没有在这个调用处返回任务奖励、终止原因或可恢复的关卡状态。把这段调用包进名为 step() 的函数,不会自动让视频生成具备环境结算能力。
本文核对 H3-World 提交 f0c7be2acbbde8256b2473f6e7b088f58272acae,以及其补丁对应的 DiffSynth 基线 300e3e4da76e881d5e6bd97d897810c18f6e4893。核对日期为 2026 年 10 月 17 日。以下事实来自固定源码与 Gymnasium 官方接口文档;开门例子、混合接入和试验记录均为作者提出的待执行方案,没有运行游戏、模型、闭环 Agent 或强化学习训练。
返回一段音画,与推进一次环境,是两种不同的工作

固定官方页面聚焦原像素;证明局部源码职责,不是游戏、模型或训练结果。
先看官方 infer.py 的关键调用,下面仅保留与接口边界相关的参数;省略的负向条件和尺寸配置不影响这里所讨论的返回值:
python
video, audio = pipe(
prompt=args.scene_prompt,
num_frames=args.num_frames,
num_inference_steps=args.steps,
seed=args.seed,
keyframes=[first_frame],
keyframe_indices=[0],
action_script=script,
# 其他原参数省略
)
后面使用 write_video_audio 写出视频与音频。这里的 num_inference_steps 是生成采样步骤数;它不能解释为 Agent 与环境交互了多少次。首帧也是视觉条件,不是库存、碰撞体、任务进度等状态的序列化快照。固定推理入口
这份命令行示例还有一个限制:它把所选 action_preset 填到整个 keys9 时间轴,再生成动作句。也就是说,示例主要演示一种按键组合贯穿片段,不是"先走近门、观察锁孔、再决定是否开门"的在线分支。底层动作条件可表达逐时段有序句子,与这个入口已经提供了按观察改动作的会话协议,是两回事。接入者若自己实现脚本切换,应把它列为新增工作,不应当作这份入口已有的功能。
再与一个常见环境接口作对照。Gymnasium 的 step(action) 返回下一个观察、奖励、任务终止标志、外部截断标志和诊断信息;reset() 开始新的 episode。这里用它作明确参照,不要求所有 Game Agent 都必须采用该库,也不意味着统一函数签名就足够。Gymnasium Env 官方文档

固定官方原像素与作者时序对照;只说明局部接口职责,未运行游戏、模型或训练。
两类返回值之间缺失的东西,不能靠补几个默认值蒙混过去。把奖励永远置零,意味着尚未实现相应任务评价;用"视频播完"表示任务成功,也改变了任务含义。若游戏本来要求找到钥匙并解锁出口,那么一个固定时长的生成片段结束,只能说明这次媒体工作完成。
同样,生成器报错或等待超时应该作为独立执行状态记录。需要结束 episode 时,再按已定义的环境规则归类;不能一律算作角色死亡,也不能因失败没有视频而把这次尝试从统计中删除。否则比较两条策略时,失败更多的一条可能只留下少量漂亮片段,看起来反而更好。
一次开门任务,暴露出画面无法单独裁定的变量

作者构造的无钥匙开门情形:本图把库存留在规则侧,策略只接收画面与获准公开事件;映射与结算尚未接通或实测。
设想一个带锁门的小房间。引擎记录门 door_07 为 locked,角色库存没有钥匙。Agent 发出开门请求,模型随后生成门扇向内转动的画面。这个例子是人为构造的职责冲突,不是对 H3-World 某个生成结果的观察。
如果任务规则要求消耗钥匙,那么引擎应该拒绝这次开门;如果规则允许撞门,则还要检查对应动作、体力和门的耐久。视频里的开启外观既不能证明钥匙存在,也不能决定碰撞体已经更新。让 VLM 再读一次视频,可以告诉我们"画面看起来打开了",却没有增加库存结算的原始证据。
反过来也会发生:引擎已经接受开门请求、消耗钥匙并改变门的逻辑状态,而生成画面仍保持关闭。此时应当记录"状态与视觉不一致",不能悄悄把引擎的门改回关闭,让双方表面吻合。否则渲染失败就会篡改规则,回放同一条动作历史也可能得到不同任务结果。
因此,这篇文章提出的接入顺序是:先让负责规则的系统执行动作,记录请求是否被接受、发生哪些状态变化;然后把适用的视觉条件交给生成器,检查画面能否表达已经确定的结果。生成失败保留原状态与失败记录,可选择重试或回退到引擎画面,但重试不能再次消耗钥匙、再次发奖。
这并不表示现有 H3-World 已能读取任意结构化状态。当前接口里的 提示词 和首帧不等于一个已经实现的 WorldSpec 编译器。怎样把门的位置、外观、目标身份以及动作时段变成稳定条件,仍需适配和评价。若现有动作控制只覆盖人物移动与镜头,而任务需要对特定门交互,就必须明确"目标交互映射尚未验证",不能把一句 open door 当成实现证明。
这里也不要求所有状态都暴露给 policy。游戏可以是部分可观察的:Agent 只看到画面和允许公开的事件,奖励服务或评价者使用内部状态。关键是区分策略可见的观察 与环境用于结算的内部状态。为了让系统可审计,把库存真值直接附在 Agent 观察里,可能让原本的视觉任务变成读取答案的任务。
能重新生成同一画面,不等于能回到同一个世界

作者假设 S0 为 door_07 locked、钥匙0;A直接开门,B先找钥匙再开门。各分支应先恢复并核对同一 S0,图中为待执行规则预期,未验证恢复或因果结果。
视频生成 接口提供 seed,有利于记录一次请求的随机条件。但从中不能推出"保存 seed 就能在任意时刻分支"。开门前的一帧可能看起来完全一样,背后却有不同库存、任务标记、计时器或敌人状态。仅保存像素,无法区分这些情况。
即使只考虑生成器自身,能否重复相同输出也取决于模型与代码版本、调度器、精度、运行后端和随机过程等条件。本文没有跨设备或重复运行验证,不作逐像素一致的承诺。固定首帧与 seed 可以用于限定离线对比的请求条件;它们不能替代对完整运行状态的保存与恢复。
对于需要搜索的 Agent,分支还有更严格的含义:从同一个起点分别尝试 A 和 B,B 不能承接 A 消耗过钥匙的库存,A 的计时器也不能被重试请求改变。若是显式引擎承担环境,需要保存关卡状态、相关随机数状态及可影响后续结算的会话数据;若还维护生成历史或缓存,也必须定义它们如何随分支隔离。checkpoint/restore 是这类规划方案需要的扩展,不是 Gymnasium 基础 Env 接口自动提供的标准能力。
不需要分支的应用,完全可以先不实现它。比如离线镜头预演只要求生成几条候选片段,就可以明确"无环境恢复、无可比较奖励",避免为一个创作需求搭建完整模拟器。只有当读者真的要比较策略、回滚失败操作或搜索行动序列时,这些状态恢复要求才成为当前任务的一部分。
同理,拼接两段视频可以构成更长的观看材料,却不能据此声称已经保持同一个世界。连续画面的外观相似,与物品身份、已访问区域和事件历史是否延续,是不同的检查。把上一段末帧当作下一段首帧,是一种可试验的视觉连接方法;它不会自动恢复画面之外的信息。
先把它放在离线候选预演的位置
如果目标是让人理解 Agent 的行动意图,H3-World 可以作为动作条件视觉生成的研究起点。Agent 或脚本提出几个候选序列,再由视频模型生成可能的视觉表现。读者看到的是策略意图的预演,不是环境已经实际发生的未来。
这个用途的验收也应当相应缩小:动作方向与时段是否符合条件,关键对象是否被正确保留,片段是否适合供人审阅。不能只因门看起来开了,就给这条候选更高的游戏回报;也不能用两段独立采样的差异证明某个动作在真实环境里造成了同样差异。它们首先是条件生成结果,仍可能包含随机性与模型偏差。
若任务是培养对画面风格更稳健的视觉 Agent,可以进一步研究合成观察增强。但要保留来源、生成条件与筛选理由,独立核验动作和目标标签,避免把错误动作与正确文字一起喂给学习器。测试集应来自独立真实任务或另行定义的有效目标,不能只用同一个生成器和同一个自动打分器互相认证。
把 大模型 当作未来小型因果模型的 teacher,也是一个研究方案。"teacher"只说明数据或监督的来源,不意味着其动作控制、状态一致性和学生收益已经成立。需要先验证教师输出是否表达了指定条件,再评价学生在目标任务中是否真正改善。本次没有生成教师样本、训练 student 或测量收益。
更简单的替代方案也应该保留。如果你已有一个能正确结算动作和任务的游戏引擎,而读者只需调试 Agent 的决策,先用引擎原生画面和事件回放通常更容易定位问题。只有当神经生成补充的外观、创作或研究价值能回答具体需求时,再让它进入链路;不要让调试渲染器反过来成为调试策略的前置条件。
用一份候选记录,决定下一步到底该测什么

CAND-EX1及尝试编号为教学占位。规则、媒体和一致性记录分开关联;若规则已成功,只重试媒体,不再次扣钥匙或发奖。本篇未执行这些请求。
下面给出这篇文章唯一主要产物:一份开门任务候选记录。它不是新的状态机,也不是已实现 API。它把同一个候选的规则结果、媒体任务和观察分开,避免把画面评分冒充游戏回报。
| 记录项 | 示例要填写的内容 | 目前应如何填写 |
|---|---|---|
| 起点身份 | 引擎版本、场景、episode、起点快照ID;若无引擎则标明缺失 | 尚未执行,不编造快照 |
| 策略可见输入 | 实际给 Agent 的首帧、允许公开的事件及其 SHA | 未采集;内部库存不默认泄漏给策略 |
| 候选动作 | A为直接开门,B为先找钥匙再开门;记录目标ID、时间和单位 | 作者构造的待执行候选,尚无适配成功证明 |
| 规则结算来源 | 谁接受请求、更新门/库存、计算奖励与终止 | 计划由引擎及任务评价器负责,尚未接通 |
| 生成请求 | 模型/补丁/权重/采样配置、首帧、实际有序动作句、seed | 保存实际请求,不只保存自然语言意图 |
| 媒体结果 | 请求ID、状态、耗时、音画文件SHA、失败与重试关系 | 未生成,无时间或质量数值 |
| 一致性观察 | 目标门是否对上、画面变化是否对应已结算状态、核查者与证据 | 只能在实际取得结果后记录 |
| 比较结论 | 规则回报、视觉表现和运行成本分别比较 | 未执行,不评出最佳候选 |
这份记录可以从一个极小问题开始执行:固定一份真实的无钥匙起点,提交开门请求,观察规则是否明确拒绝;然后在另一个已定义的有钥匙起点执行对应操作。二者不是从"同一状态"分支,不能当作只改变动作的因果对照;它们先检验两种已知前置条件能否分别被正确结算。
等恢复能力经过验证后,再从同一快照分别执行候选 A 和 B,记录请求、接受/拒绝、状态变化和奖励。每条分支完成后恢复起点,并验证恢复结果,而不是只重置一个 seed。这里建议的运行顺序仍未执行,表中的空值应当保留到实际有证据时。
视觉生成可在这之后单独接入。先确认动作适配器实际发出了什么条件,再把引擎结果与生成音画并列核查。遇到"规则拒绝而画面打开"时,应标记视觉不一致;遇到"规则接受而生成超时"时,分别保留成功的规则结算和失败的媒体任务。两个维度都记录,才能决定该修动作适配、生成条件,还是渲染调度。
延迟和成本也跟随同一请求记录。端到端等待包括排队、条件处理、生成、解码、传输和观察消费,不能用媒体的24 FPS替代。是否适合在线控制,取决于任务要求与实测结果,而不是在表里预填一个通用毫秒目标。本文没有运行这些环节,也没有据此给出可部署的吞吐结论。
职责明确之后,才谈闭环与训练
H3-World 的可用研究价值,在于把首帧、场景和动作条件转成音画的具体机制。Game Agent 接入要解决的是另一组可核查关系:动作由谁推进、规则由谁结算、观察给谁看、失败怎样保留、分支从哪里恢复。两者可以组合,但组合本身需要新的证据。
对于离线预演,记录实际动作条件和音画结果,就能开始审查生成是否符合意图;对于带规则的游戏任务,需要独立环境状态和评价来源;对于需要搜索或强化学习的系统,还要进一步证明恢复隔离、批量采样、成本与任务转移的有效性。不能跳过前面的工作,把一个可播放视频包装成已经可训练的环境。
机器人任务的要求还会更严格:人物移动的视觉表现不提供真实执行器的动力学、接触与碰撞证据。这里的开门记录只是一种游戏接入分析,不能外推为机器人安全验证。
实际推进时,先选一个目标角色。若当前需求是候选预演,就把它完成为有来源、可复查的媒体任务;若当前需求是策略训练,就先选定能结算和恢复的环境。读者要带走的不是"所有模块都该补齐",而是能从同一份候选记录指出:当前缺的是一段画面、一次规则转移,还是一套尚未验证的分支环境。
来源与证据范围
- H3-World 固定推理入口:预设动作贯穿时间轴、管线返回音画与媒体写入。
- H3-World 固定补丁:核对动作条件与管线接口;本次仅静态读取及历史文本补丁结果,未运行模型。
- DiffSynth 固定管线基线:核对生成流程,不将内部采样step当作游戏step。
- Gymnasium Env 官方文档:只用于step/reset返回职责及终止、截断的区别;恢复与分支能力是本文讨论的额外需求。
原ZIP第11章作为研究种子。其评分、延迟目标、未来年份预测与未经实测的耗时假设均未采用;离线预演、数据增强、teacher与混合引擎是建议用途,不是本次已实现能力。