H3-World 动作控制怎么测:从左右对照到片内切换

固定官方页面聚焦原像素;证明局部源码职责,不是游戏、模型或训练结果。
你给同一张首帧分别输入"镜头向左"和"镜头向右",两段视频都很顺。接下来要回答的,却比"成功出片"具体得多:两段画面是否沿预期方向分开?静止输入本来会产生多少运动?把动作放到片段中间以后,变化是否真的出现在那个时刻?
准备实验时,很容易直接列出方向准确率、切换延迟和控制泄漏三个指标。但固定版 H3-World 的参考入口有一处会改变整个安排的细节:它把一个按键组合填满整段动作数组。这个命令可以测试全片保持向左或向右,不能直接表达片内"先左后右"。若没有先补齐输入,就算最后算出一个切换分数,也无法确认测到的是谁的切换。
本文回答一个问题:怎样把 H3-World 的动作控制主张变成一次可以解释、可以保留失败的输出实验?核心做法是先核实实际条件,再在固定输入下比较反向动作与静止,只有离线时间表入口完成后才测试片内切换。方向、时机、漂移和运行代价放进同一份实验记录,各自保留适用条件。
以下核对的是 2026 年 10 月 17 日取得的固定源码。没有下载权重或运行模型,没有得到动作成功率、生成耗时或音画评估结果。本文给出待执行实验的设计与记录,不能据此宣布 H3-World 已经通过某项控制测试。
第一项实验,取决于入口实际接收了什么
H3-World 固定提交 f0c7be2acbbde8256b2473f6e7b088f58272acae 的 code/abot/infer.py 接收 --action-preset。它先建立 keys9,然后对 preset 中每个按键执行:
python
keys9[:, S.KEYS9.index(key)] = 1
script = S.annotate_from_keys9(keys9)
这里的冒号覆盖全部动作行,生成的是整段保持的条件。后续 action_script=script 才进入 pipeline。脚本还把静止动作列表传给负动作参数;这一项不能直接当成独立生成的静止对照,更不能据"有负参数"就认定每次都执行了第二个预测分支。基线实验应单独请求一次 still,并保存其完整输出。固定参考入口
因此,第一轮选择已有的 pan-left、pan-right 和 still 就足以形成一个有区分力的问题:在相同首帧、静态描述、模型与采样设置下,改变动作输入,输出运动是否相应改变?先测这一件事,比一开始同时加入量化、Turbo、缓存和新界面更容易解释结果。原参考路径若还无法稳定完成,优化版的差异也没有可靠起点。
静态描述只写场景和主体,不额外写"镜头一直向右"。否则静态文字和动作输入互相冲突,向左失败究竟来自控制不足还是提示词竞争,会混在一起。首次比较应保存处理后的首帧,而不只是原图片路径;裁切变化可能把目标人物裁掉,导致跟踪结果与模型本身无关。
实际运行前,还应保存最终有序动作句、每条对应的动作索引及静止负动作列表。命令行写了 pan-left,只能证明请求中出现这个字符串;它经过哪份规则、有没有被其他封装替换,需要由实际送入 pipeline 的条件说明。若代码已修改,记录适配提交和生成后的列表,不能仍用"官方 preset"掩盖改动。
此处的第一方源码证据只证明输入构造职责。它没有提供本机视频、真实编码结果或动作成功日志。本文的标准库检查也只解析源码与两个时间映射函数,没有导入模型包。
相同 seed 帮助配对,成功样例仍可能误导

作者待执行实验设计;没有模型、音画、检测或统计实测。
同一首帧和同一 seed 下比较左右动作,是一个合理的起点:把可固定的随机条件配在一起,减少比较中无关的波动。它不保证不同动作生成的画面只在一个像素维度上变化,也不能把一对方向不同的视频升级成普遍控制能力或真实物理因果的证明。
尤其在替换量化、后端或采样方法以后,相同 seed 不等于相同完整数值过程。PyTorch 的可复现性说明也明确限制跨版本、平台和设备的完全一致性保证。应保存实际环境、随机数相关设置与输入,按本次定义的行为比较,而不是要求所有后端凭同一整数逐像素一致。PyTorch 可复现性说明
比较单位应预先写成"场景、seed、动作条件"的组合。每个选定场景都运行左右与静止,保留全部尝试。不能看完输出以后,左转挑 seed 甲、右转挑 seed 乙,再把两段最像样的视频并排作为成对实验。也不能用失败片段补跑直到成功,却只把最后一次写进分母。
筛选场景时,可以用一组有明显远近结构、可跟踪背景和可见主体的画面调通检测流程。正式评估应另外冻结场景及 seed 清单,覆盖计划使用的视角和风格,并明确哪些超出已有条件分布。这里不给"若干场景乘若干 seed 就够了"的通用数字。预算、输出波动和想区分的差异大小都还没有实测,预填一个样本量无法替代这些信息。
如果要比较参考版与一个优化版,每个"场景---seed"组合应在两版都生成左右和静止。先看各版内部是否对反向输入作出反向响应,再比较这种响应在优化后保留了多少。只比较两版各一段向左视频,既可能测到模型变化,也可能只是随机纹理变化。
统计时还应保留场景层级。同一场景的多个 seed 和同一视频内的大量帧共享输入结构;把这些帧都当作彼此独立的成功试验,会让结果显得比实际更稳定。可以先逐场景报告差异,再用以场景为重采样单位的配对区间评估不确定性;样本很少时直接展示全部配对结果。具体区间方法与样本量应随数据确定,不用"同 seed"替代不确定性说明。
画面向左移动,未必表示镜头向左转

作者待执行实验设计;没有模型、音画、检测或统计实测。
方向检测必须先说清测量对象。镜头向右转时,静态背景在图像里通常向左流动;角色向右走时,跟随镜头又可能让角色基本留在画面中央。把全帧平均光流的正负直接贴成"左、右",会在这两种情况下产生不同误判。
光流是相邻帧像素位置的变化估计。本篇建议先选择可观察的镜头运动,并用人工确认的短片校准图像坐标、命令方向与背景运动之间的对应关系。背景区域、被遮挡区域和独立运动前景分开处理,记录采用的检测器版本及有效像素规则。这个校准过程尚未执行,文中没有预填光流符号或像素阈值。
对角色移动,还需要相对背景的主体轨迹或其他与任务相符的观察。人物变大可能来自靠近、镜头推近或生成形变;单一尺度变化不能独立裁定"前进成功"。先在能够解释的场景建立检测与人工标签的一致性,再扩大动作范围。一个只能可靠测镜头的检测器,不能靠换列名直接获得角色动作准确率。
静止输出提供了运动背景参照。若 still 本来就有明显镜头漂移,向左片段有运动并不足以证明控制有效。需要比较运动的方向、持续区间和相对静止的变化,并保留局部异常。左右两段都缓慢朝同一侧偏移,是值得定位的现象,即使它们各自看起来流畅。
成功率的分子、分母也应在看结果前定义。方向正确但幅度不足、主体无法跟踪、场景切换、输出损坏,应分别记录。检测失败可以列为"不可判定",但必须同时报告数量与原因,不能悄悄从总尝试数移除,再给剩余片段一个漂亮比例。模型未生成成功与检测器不适用是两种不同失败,保留两者才能知道后续该修推理还是修测量。
像素噪声与缓慢漂移的界线需要校准数据。作者可以事先根据目标应用提出容忍度,也可以先做探索测量后冻结正式规则;都应写明来源。原研究笔记中的相对成功率要求、固定 seed 数量和显存目标在这里没有被当成行业验收标准。
片内切换先补输入,时间轴先对齐

固定版本源码忠实摘录、选定纯函数所得等比例帧区间尺与作者取整关系;不是原始页面截图或模型响应。

作者待执行实验设计;没有模型、音画、检测或统计实测。
恒定动作只能说明整段条件与整段输出之间的关系。想测"前半向左、后半向右",需要另加一个离线时间表适配,把每段按键准确填进相应动作行,再复用官方规则生成动作句。固定 CLI 没有提供这个参数;本文没有实现适配,也没有执行切换实验。把两段恒定视频拼接起来,不会补出一个片内切换样本。
时间表不能按视频时长直接等分为固定大小的 latent。latent 是模型的压缩时间单元。固定 abot_action.py 的 frame_spans() 使用周期 (1, 4, 4, 4, 4),表示相邻动作条目对应的帧区间宽度不同。对参考的 124 帧设置,选定源码函数计算出 37 个区间,连续覆盖帧索引 [0,124)。这是本次标准库函数计算结果,不是模型运行,也不证明每个动作的视觉响应都在区间边界出现。固定时间映射
适配应保存每条动作的 [起始帧,结束帧),再按输出媒体帧率换成预定边界。若用户指定的时刻落在一个区间内部,必须记录取整方法及最终实际边界,不能仍拿用户原始小数秒计算误差。改变帧数也应重新计算映射,不沿用 37 条的固定数组。
随后分别观察动作开始、反向和停止。检测到运动改变的时刻与实际条件边界之差,可以作为这段生成媒体里的响应偏移。应保留带符号偏移,以区分提前与滞后;若要再报绝对误差,可作为另一列。没有出现反向响应时标记"未检出"或相应失败状态,不能把片尾时间硬填成一次成功检测后并入平均值。
"片段中间给动作,其他位置是否也动了"可以形成另一项探索。但非目标区间的运动既可能来自静止漂移,也可能是已发生运动的延续,或视频时间之间的信息传播。动作路由限制直接可见性,不等于各时刻输出完全独立。因此先与相同安排的静止条件比较,按动作前、动作中、动作后分别保存观测;仅凭非目标区间存在运动,不能断言注意力实现发生了泄漏。
若采用"非目标运动量除以目标运动量"的比例,目标运动接近零时分母会失去解释力。此时保留两项原始量并标记比例不可用。即使比例可算,也把它称为本实验定义的区间运动指标,结合边界和静止参照解释,避免一个数同时承担路由诊断、语义服从和物理惯性三种结论。
控制通过以后,画质、声音与速度仍要各自留下结果

作者待执行实验设计;没有模型、音画、检测或统计实测。
一段视频可以方向正确,同时人物变形;也可以画质稳定,但左右动作几乎没有差异。实验记录应保留两项判断,不把它们加成一个总分后抵消。对目标任务而言,控制或视觉退化都可能成为拒绝优化版的理由,具体容忍度应由应用决定。
画面检查可以关注主体是否持续可辨、背景结构是否突变、对象是否无故消失。自动相似度是辅助观察,需要说明被比较的区域和时刻;高相似度也可能来自模型根本没有执行动作。若一段静止画面与首帧非常相似,这对一致性有利,却不能替代移动任务的完成判断。
音频至少单列文件存在、可解码、静音、削波、突变及与画面事件对齐等结果。脚步是否受动作条件控制属于更强的主张,需要定义事件标签、负例和人工校准。听到脚步声不等于动作条件因果控制了脚步;本文没有执行音频评估,也没有依据宣称独立可控。
速度也有两根时间轴。前文的响应偏移位于已经生成的视频内部;用户输入后等多久看到响应,则包含录入、排队、生成、解码、传输和播放。离线 CLI 的完整出片耗时不能直接命名为交互首帧延迟。若尚无在线输入和流式播放入口,就只报告实际存在的调用阶段,不用媒体的 24 FPS 推出实时性。
采集 GPU 耗时时,应明确设备同步与计时范围,冷启动、首次编译与热运行分开。失败任务保留已耗时间,不能只统计成功出片后的最快值。本篇没有采集 GPU、显存或队列数据,所以这些格子仍为空。生成较快只是一个观测,是否值得替换还要回到相同场景下的控制与质量结果。
长段续接也可以以后纳入这份记录,但它是额外实验:把上一段末帧作为新首帧,不能自动恢复库存、位置或完整世界状态。本篇先限制在单片段动作响应,避免用未实现的 reset 或状态恢复混淆输入控制。需要连续世界任务时,应另建实际状态与任务评估,不能让单段画面实验承担这一承诺。
一份记录,保留从请求到结论的空缺

作者待执行实验设计;没有模型、音画、检测或统计实测。
下面是作者建议的单次配对实验记录。它是尚未填写结果的运行模板;前面的方向、时轴、音画与代价都服务这份记录,不要求为了凑字段先建立一套新系统。
| 记录位置 | 必须能追溯的对象与问题 | 本次结果 |
|---|---|---|
| 对象与固定条件 | 代码/基座/动作权重版本与 SHA、后端、精度、设备、采样、首帧实际裁切、静态提示词 | 未执行模型;权重与运行环境待采集 |
| 比较安排 | 场景与 seed 清单、左右/静止、参考/候选的配对关系、全部尝试 ID、筛选与正式集合 | 待冻结 |
| 实际动作条件 | preset 或适配版本、有序动作句、逐项帧区间、真实边界、负动作与 CFG 设置 | 仅源码职责核对;实际条件待采集 |
| 方向与时机 | 背景/主体对象、检测器版本、人工校准、原始方向量、开始/反向/停止时刻、未检出状态 | 未生成音画,未检测 |
| 区间运动与质量 | 静止参照、动作前中后运动、不可判定原因、主体与结构问题、声音检查 | 待实测;无通过比例 |
| 执行代价与失败 | 冷热状态、计时边界、实际耗时、内存、失败阶段、重试关系、输出原文件 | 待实测;无速度/显存值 |
| 汇总与选择 | 各场景成对结果、不确定性、全部失败、事先验收规则及版本选择理由 | 未形成性能或控制结论 |
从这份记录推进时,有明确的停点。动作句不符合请求,先修输入。映射不覆盖目标帧,先修时间表。检测器把相机运动方向判反,先修校准。静止与反向输入没有可解释差异,就保留失败,不进入"优化后保持了多少"的比较。只有参考路径产生了可解释的行为结果,后续改变步数、精度或缓存才有稳定的比较对象。
这套顺序有成本:初期需要人工核对样本和保留失败,不会马上得到一个覆盖所有动作的榜单。更省事的替代是先只测能清楚观察的恒定镜头动作,完整记录一组左右与静止输出。它的结论范围较窄,却能直接回答"这条固定调用链是否出现了与输入方向对应的变化"。等实际时间表和检测方法具备,再扩大问题。
最终应交付的是请求、实际条件、完整输出与判读相互对应的记录。没有运行的格子继续写未执行;不可判定的样本继续保留原因;确定了输入和输出差异,再说明它支持哪一项控制结论。这样得到的结果,才足以决定是否继续优化这条路径。
来源与未验证范围
H3-World 的推理入口、动作脚本和时间映射均固定于 f0c7be2acbbde8256b2473f6e7b088f58272acae。参考补丁对应 DiffSynth 300e3e4da76e881d5e6bd97d897810c18f6e4893,本次沿用可追溯文本应用产物核对接口,没有执行供应商模型。PyTorch 可复现性说明核实于 2026 年 10 月 17 日,用于限定 seed 结论,不声称本文采用了该文档版本的运行环境。
原始 ZIP 第 12 章是实验路线素材,其中的 A6000 资源建议、固定成功率门槛、完整实验规模、量化收益、长段续接与交互界面均没有转写为既有成果。本次只做固定源码的静态解析和选定纯时间映射函数检查;没有 schedule 适配、权重装载、音视频生成、光流标定、统计比较或游戏状态恢复实测。本文所有评估安排是作者建议,不能代替这些实际证据。