一篇读懂 Kairos 原生前世界-动作模型栈:从被动视频到机器人动作,4B 参数如何用"控制充分状态"重定义物理 AI 世界模型
论文:Kairos: A Regret-Aware Native World-Action Model Stack for Physical AI(Kairos Team,arXiv 2026)
发布时间:2026 年 6 月 15 日(arXiv v1,v3 修订于 2026 年 7 月 3 日)
作者:Fei Wang、Shan You、Qiming Zhang、Tao Huang、Zuoyi Fu、Zhisheng Zheng、Yunlong Xi、Feng Lv、Xiaoming Wu、Zeyu Liu、Cong Wan、Pu Li、Ruiqing Yang、Xiaoou Li、Wei Wang、Kangkang Zhu、Yuwei Zhang、Shi Fu、Zheng Zhang、Xiaoning Wu、Xuzeng Fan、Dacheng Tao、Xiaogang Wang(共 23 人)
核心一句话:用 4B 参数的原生世界-动作模型栈,在 WorldModelBench-Robot(9.30)、RoboTwin 2.0(平均 96.1)、LIBERO-Plus(90.8)等多项榜单上压过 14B--28B 的 Cosmos3-Nano / Lingbot,同时把 720P/5s 推理压到 4 卡 9 秒------而它的目标不是"把未来像素模拟得更逼真",而是学、维护并部署一个能降低 regret 的"控制充分状态" Z t Z_t Zt。
配套资源
- 官方代码仓库:github.com/kairos-agi/kairos
- Hugging Face 模型权重页:huggingface.co/kairos-agi
- ModelScope 模型页:modelscope.cn/collections/kairos-team/kairos30
核心关键词
- 控制充分状态(control-sufficient state Z t Z_t Zt):不复制整个世界,只压缩"对控制有用"的变量------物体位姿、接触、任务进度、动作后果、失败边界、部署不确定性。
- 表征诱导的 regret( R e g H ( f ; g ) \mathrm{Reg}_H(f;g) RegH(f;g)) :把历史 H t H_t Ht 压成 Z t Z_t Zt 后,最优规划多付出的物理代价;Kairos 用它而非视觉保真度作为世界模型的优化标尺。
- 跨具身数据课程(CEDC):按"介入强度"递进的三段式预训练------开放世界视频(被动观察)→ 人类行为数据(意图介入)→ 机器人交互数据(具身动作落地)。
- 原生理解-生成-预测架构 :World Understanding / Generation / Prediction 不是三个独立模块,而是同一个 Z t Z_t Zt 的三个接口,靠共享骨干与混合时间记忆耦合。
- 混合线性时间注意力:滑动窗(SWA,局部)+ 膨胀滑动窗(DSWA,中程)+ 门控线性注意力(GLA/Gated DeltaNet,全局因果记忆),三路并行维持多时间尺度状态。
- 世界-动作模型(WAM):Video DiT 与 Action DiT 联合训练,把"未来动作"当作世界演化的一部分来预测;推理时可关闭视频分支只出动作 token。
- 部署感知系统协同设计:把延迟/显存/硬件兼容性当成一阶建模目标------时间步蒸馏(DMD+CM)、FP8/INT4 量化、序列并行,换来可进控制环的吞吐。
带着问题阅读
- 世界模型为什么不该追求"全像素模拟"?Kairos 用什么量来替代视觉保真度,作为物理 AI 世界模型的目标函数?
- 开放世界视频、人类行为、机器人数据为什么不能扁平混合?三段式课程各自补的是哪一类知识,缺了会怎样?
- 同一个 Z t Z_t Zt 如何同时承担理解、生成、预测三个接口?"训练联合、推理可不对称地关掉视频分支"这一设计意味着什么、又放弃了什么?
- 混合线性时间注意力为何要把局部/中程/全局拆成三条路径?论文用什么理论说明"纯局部记忆在长程必然失败",又把它的保证限定在何处?
- 一个 4B 模型如何在多项榜单上压过 14B--28B 的对手?效率-能力权衡的证据强度到底到哪?
- 论文反复强调当前结果只是"代理证据(proxy evidence)",真正的闭环 regret 验证还差哪些环节?为什么这是论文的边界,而不是结论?
一、核心导读
Kairos 是一个面向 Physical AI 的"原生前世界-动作模型栈"。它的全部论证围绕一个反直觉的主张展开:一个有用的物理世界模型,不应该是世界的全模拟器 。真实世界的信息远多于机器人能观测、计算、存储、执行的量;机器人抓一个杯子,并不需要预测桌面纹理、窗外云彩或无关背景物体的未来像素,它需要保留的是杯子的位置、质量、摩擦、抓取可行性、接触状态、任务进度、失败风险以及不同动作的后果。论文把这种"压缩后仍足以支撑低成本决策"的内部状态称为控制充分状态 Z t = f ( H t ) Z_t=f(H_t) Zt=f(Ht)。
围绕这个概念,Kairos 给出三层贡献:第一,用跨具身数据课程 决定"控制相关信息从哪来"------把开放世界视频、人类行为、机器人交互按介入强度排成一条发育路径,从被动观察走向意图行为再走向具身动作落地,而不是把它们扁平混合;第二,用原生理解-生成-预测架构 + 混合线性时间注意力 决定"信息如何压进 Z t Z_t Zt 并跨多时间尺度维持"------理解构造状态、生成做正则与探针、预测把状态变成世界-动作接口,三者在同一骨干里耦合;第三,用部署感知系统协同设计决定"状态能否在真实系统的延迟/显存约束下被用起来"------把蒸馏、量化、序列并行当作建模目标而非事后加速。
实证上,Kairos-4B 在具身世界模型榜单(WorldModelBench-Robot 9.30、DreamGen 综合 0.618、PAI-Bench-Robot Overall 82.57)、世界-动作榜单(RoboTwin 2.0 平均 96.1、LIBERO-Plus 90.8)、通用物理推理(VideoPhy 45.55)、长程生成(PAI-Bench-15s 79.9)和效率评估(720P/5s 4 卡 9 秒、2.3 PFlops)上拿出一组以小博大的成绩。但论文最清醒的地方在于它的自我设限:这些结果只是"代理证据",证明的是进入物理代价 J H J_H JH 或其模型估计 J ^ H \widehat{J}_H J H 的那些组件,并不直接测量 R e g H \mathrm{Reg}_H RegH,更不构成闭环 regret 降低的证明。真正的"想象 rollout 与真实 rollout 高相关、执行前失败预测、安全过滤、恢复学习、可测量的策略改进"被明确列为未来工作。理解这条"代理证据 → 闭环验证"的边界,是读懂 Kairos 的关键。
二、问题背景:作者到底想解决什么
2.1 世界模型的四条产业路线与 Physical AI 的"第四类"
论文先把当前世界模型的发展归为四条产业路线。第一条是生成式世界模型 ,以像素级未来渲染为核心,代表是 NVIDIA 的 Cosmos,把生成式视频基础模型当作物理 AI 的数字孪生与基础设施。第二条是表征式世界模型 ,强调在抽象表示空间里学物理意义充分的预测结构而非渲染像素,代表是 Meta 的 JEPA 系列(V-JEPA 2 / 2.1、DINO-world),其前提是"动作相关的潜空间结构比像素重建对决策更有用"。第三条是交互式世界模型 ,强调持续仿真与可交互环境,从静态空间智能(World Labs 的 Marble、TeleWorld)到动态交互(DeepMind 的 Genie 3、Dreamer 4)。第四条是正在兴起的统一理解-生成-预测世界-动作模型------不把理解、生成、预测、动作当成各自独立的下游模块,而是在一个共享的世界-动作底座里统一语义与物理理解、未来想象、状态预测、具身动作建模和部署决策支持;Cosmos 3、MotuBrain 都反映了这一趋势。Kairos 自我定位为沿这"第四类"做的全栈系统探索,因为它的目的不是抽象世界、复现世界或仿真一个场景,而是把生成、物理、认知、动作连起来,让具身体能保住控制相关信息、评估动作后果、并跑在真实的观察-动作-反馈环里。
2.2 第一性原理:世界模型不是全模拟器,而是控制充分状态
把第四类落地,需要一个第一性原理:世界模型不应被理解成世界的全模拟器。机器人抓杯子不需要预测桌面纹理的每个未来像素。论文因此定义核心目标------学一个控制充分状态 :给定观察-动作历史 H t H_t Ht、任务目标 g g g、候选未来动作序列 a t : t + H − 1 a_{t:t+H-1} at:t+H−1,世界模型应维持一个内部状态 Z t Z_t Zt,它保留预测"任务相关未来变量、失败事件、任务进度、物理代价、想象-真实差距"所需的信息。一个能生成逼真视频却不能预测失败、区分不同动作后果、评估策略风险的视频模型,仍是残缺的具身世界模型;反之,一个不合成每个像素却能可靠预测不同动作后果与失败边界的模型,才更接近 Physical AI 所需的那类世界模型。
这一视角直接改变了评价方式。传统生成建模以视觉真实度、时序平滑、指令跟随、重建质量衡量成功,这些对 Physical AI 不充分:机器人不会因为预测像素略糊而付出代价,它会在杯子滑落、发生碰撞、任务失败、需要人介入或越过安全边界时付出代价。因此 Kairos 把 regret 降低作为具身世界模型设计的指导原则------在具身智能里,regret 不是抽象的 learning-theoretic 量,它对应碰撞、损坏、浪费时间、恢复代价、不安全接触、任务失败这些真实代价。为了把这个原则说精确,论文用"内部世界状态诱导的未来动作选择额外物理代价"来形式化状态价值。
设 H t H_t Ht 为到 t t t 的观察-动作历史, g ∈ G g\in\mathcal{G} g∈G 为任务目标, Z t = f ( H t ) ∈ Z Z_t=f(H_t)\in\mathcal{Z} Zt=f(Ht)∈Z 为压缩状态, J H ( a t : t + H − 1 ∣ H t , g ) J_H(a_{t:t+H-1}\mid H_t,g) JH(at:t+H−1∣Ht,g) 为执行候选动作序列的条件期望物理代价(任务失败、碰撞、不安全接触、恢复代价、想象-真实差距带来的下游代价)。设 π Z : Z × G → A H \pi_Z:\mathcal{Z}\times\mathcal{G}\to\mathcal{A}^H πZ:Z×G→AH 是基于压缩状态的规划器, π H : H × G → A H \pi_H:\mathcal{H}\times\mathcal{G}\to\mathcal{A}^H πH:H×G→AH 是基于完整历史的规划器,定义表征诱导的 regret:
R e g H ( f ; g ) = inf π Z E J H ( π Z ( Z t , g ) ∣ H t , g ) − inf π H E J H ( π H ( H t , g ) ∣ H t , g ) \mathrm{Reg}{H}(f;g)=\inf{\pi_{Z}}\mathbb{E}\!\leftJ_{H}(\\pi_{Z}(Z_{t},g)\\mid H_{t},g)\\right-\inf_{\pi_{H}}\mathbb{E}\!\leftJ_{H}(\\pi_{H}(H_{t},g)\\mid H_{t},g)\\right RegH(f;g)=πZinfEJH(πZ(Zt,g)∣Ht,g)−πHinfEJH(πH(Ht,g)∣Ht,g)
因为 Z t Z_t Zt 由 H t H_t Ht 压缩而来,任何基于 Z t Z_t Zt 的规划器都能被基于 H t H_t Ht 的规划器模拟,所以在同一可允许规划类下该 regret 非负,度量的是把 H t H_t Ht 压成 Z t Z_t Zt 所多付出的物理代价。一个 regret-aware 的世界-动作模型,就该学一个让 R e g H ( f ; g ) \mathrm{Reg}_H(f;g) RegH(f;g) 变小的紧凑状态------丢掉无关视觉细节,却保留动作后果、失败边界、安全风险、恢复代价、想象-真实差距。

这张图把"现有世界模型已有哪些能力"与"Physical AI 还缺什么"摆在一起:前者已沿表征/生成/交互/统一世界-动作四方向积累,后者真正需要的是控制充分状态、反事实动作闭环、多时间尺度状态维持和部署就绪推理。Kairos 正是连这两端的"regret-aware 世界-动作栈"。
2.3 五个耦合瓶颈
从 regret 公式出发,论文推出五个具身世界模型必须满足的要求,它们正好对应当前世界模型的五个耦合瓶颈:
- regret-aware 信息压缩 :状态的价值不在能生成多少像素,而在每单位状态/算力/延迟/风险下保留了多少降低 R e g H \mathrm{Reg}_H RegH 的信息。一个能生成华丽 rollout 却跑不过动作截止时间的模型,可能不如一个低延迟地维持正确控制变量的小模型。
- 反事实闭环(counterfactual closure) :被动视频模型只能回答"接下来大概会发生什么",机器人要回答"如果我现在动手会怎样、换一个动作未来如何改变"。同一 Z t Z_t Zt 上应能表示不同候选动作导致的不同未来状态、风险与任务结局。
- 介入泛化(interventional generalization):经典监督学习假设训练/测试同分布,但机器人一动手就改变了未来数据分布------训练数据里是观察-动作相关,部署要的是动作-结果因果。模型必须跨越"被动观察→意图行为→具身动作落地"的介入强度阶梯。
- 多时间尺度控制状态维持:长程世界建模不能简化成"更长的上下文"。毫秒-秒级(接触、滑移、碰撞、手眼校正)、秒-分级(子任务、物体位置、工具使用)、分-时级(任务计划、环境变化、偏好)、时-日级(反复失败模式、场景规律)这些变量活在截然不同的时间尺度上,单一记忆机制难以通吃。
- 控制信息密度(control information density):数据价值不能用原始规模衡量。一段含失败、恢复、接触转换或边界行为的短视频,可能比几小时普通成功视频更有价值,因为它降低了控制相关变量的不确定性。
这五个要求暴露的瓶颈分别是:碎片化的介入知识、缺乏控制充分状态保留、反事实动作闭环不足、多时间尺度状态维持脆弱、离线能力强却无部署就绪推理。论文的关键判断是:分开打补丁风险很大------单维度强却整体残缺。Kairos 因此按这个瓶颈结构来设计全栈。
三、核心思路:用一句主线串起来
Kairos 把上述瓶颈结构压缩成一条"控制充分信息链":数据课程 决定控制相关信息从哪来 → 统一架构 决定这些信息如何压进共享状态 → 混合线性时间注意力 决定状态如何随时间维持 → World Prediction / Action DiT 决定状态如何对不同动作做出响应 → 部署感知协同设计决定状态能否在真实系统约束下被用起来。这条链的每一环都不是孤立工程项,而是"该保留什么信息以减少未来昂贵错误"这同一问题的不同切面。

上图是这条链的可视化:理解构造 Z t Z_t Zt、生成正则 Z t Z_t Zt、预测用 Z t Z_t Zt 出未来状态-动作、部署协同让 Z t Z_t Zt 在约束下运行,外加一个推理侧的"代理 rollout-评估-精炼"环为未来闭环自演化做铺垫。值得读者先记住的是这张图里的一个反常识点:生成不是世界模型的最终目的,而是 Z t Z_t Zt 的探针与正则器------这与"视频模型=世界模型"的常见直觉正好相反。
四、方法展开:沿着论文原始逻辑拆解
4.1 原生架构:理解-生成-预测是同一状态的三个接口
Kairos 的核心架构围绕一个原则:面向 Physical AI 的世界模型不应试图保留或生成整个世界,而应学/维护一个控制充分状态。该状态保留物体状态、空间关系、接触、任务进度、动作后果、失败边界、安全风险与部署不确定性。论文把它记为 Z t Z_t Zt,由观察-动作历史 H t H_t Ht 与任务指令 g g g 构造。重要的是,理解、生成、预测不是三个独立模块的松散连接,而是同一个底层的"世界-动作状态"的三个接口 :World Understanding 从异构经验构造 Z t Z_t Zt;World Generation 把 Z t Z_t Zt 变成物理合理的想象未来,从而正则并探测这个状态;World Prediction 把 Z t Z_t Zt 映射成联合的未来状态-动作轨迹与可执行动作 token,把模型从被动观察者变成具身世界-动作系统。
这一设计与常见"感知→生成视频→策略头"的模块化流水线截然不同。模块流水线常产生内部状态错配:感知保语义却丢物理变量,生成合成视觉合理未来却不保任务进度,动作模块学观察-动作相关却不理解动作如何改变未来状态。Kairos 则要把语义、视觉、物理、动作相关信息维持在同一个共享状态里。

如上图,理解构造 Z t Z_t Zt,生成正则 Z t Z_t Zt,预测用 Z t Z_t Zt 出未来------三者共用骨干与混合时间记忆。这套设计的目的是"regret 目标在模型侧的实例化":Kairos 学一个压缩状态 Z t Z_t Zt,意在保留低成本动作选择所需变量;但它能否真的带来比基线表示更低的闭环物理代价,仍要靠未来真机或高保真仿真实验来验证------论文对此说得很克制。
World Understanding 把异构感官、语言、物理、具身经验转成共享状态。它被定义为"控制充分状态构造":给定 H t H_t Ht 和 g g g,构造 Z t Z_t Zt。当前实现里 Z t Z_t Zt 由结构化多模态表示实现------视觉观测用视觉潜 token,任务指令提供语言条件特征。从 regret-aware 信息压缩的角度,目标不是最大化 Z t Z_t Zt 里存的信息量,而是每单位表示/算力/延迟/风险下保留的控制相关信息量。这种压缩天然任务相关:同一场景在不同目标下需要不同的理解状态(抓杯 vs 防洒 vs 擦桌,分别要保抓取可行性与障碍、倾角与液面与稳定性、物体类别与可达区与顺序)。它还须历史感知------接触稳定取决于近期运动、任务进度取决于早先子任务、物体持久性取决于遮挡期记忆、失败风险取决于延迟效应,这些都在 §4.2 的时间机制里维护而非靠单帧编码器。当前实现用基于 VLM 的理解模块(Qwen2.5-VL-7B → 后续升级到 Qwen3.5-2B)做指令落地与多模态语义对齐,但论文坦白它"尚未建立完整物理理解",只提供抽取与条件化控制相关语义变量的操作接口。
World Generation 用潜在扩散在紧凑潜空间建模未来观测,支持文生视频、图生视频、文图生视频等设定。它的两个角色都不是"把视频做得好看":其一是物理与时序正则 ------逼着 Z t Z_t Zt 保住运动、物体持久性、空间布局、接触、支撑、时序连续、任务进度、延迟效应,否则生成未来会漂移、违反物体同一性、破坏接触一致性;其二是长程状态探针------短程生成能靠局部外观平滑蒙混,长程则要求持久物体身份、稳定空间关系、遮挡期一致性、延迟接触效应与多阶段任务进度。生成还部署感知:潜在扩散、紧凑视频表示、时间可扩展 DiT、混合注意力、时间步蒸馏、硬件优化让它不至于"未来到达太晚而来不及影响动作"。部署时甚至可关掉未来视频分支,只出未来动作 token------这正是后面 §4.5 "action-only 推理"的伏笔。
World Prediction 把模型从未来观测建模延伸到联合世界-动作建模:未来动作不是世界建模之后外挂的策略头,而是模型学着预测的"未来演化"的一部分。它把未来视觉动力学与未来动作 token 在同一接口里耦合,体现 Physical AI 的核心假设------世界未来状态与智能体未来动作不独立。论文把它实现为 Mixture-of-Transformer:Video DiT (建模未来视觉 token,从预训练世界生成模型初始化以继承时空先验)+ Action DiT (预测未来动作 token,同架构但更小)。输入序列分三组------历史视频 token、未来视频 token、未来动作 token------并用统一注意力掩码策略:历史视频 token 只看历史以防未来信息泄漏;未来视频与未来动作 token 都以历史视觉上下文为条件;未来视频用稀疏时空注意力抓局部视觉动力学,未来动作 token 用更宽的注意力支持长程动作一致性。关键的不对称是:动作分支不依赖未来视频 token------于是训练时联合,推理时可跳过未来视频合成只出动作 token,由于动作 token 远少于视频 token,能大幅省算力却保住联合学到的世界动力学。这一不对称是 Kairos 走向"部署就绪世界-动作建模"最清晰的一条路。
4.2 混合线性时间注意力:局部 / 中程 / 全局三路并行
标准 DiT 用全 Softmax 自注意力,序列长度二次方复杂度,长视频与高分辨率具身观测下不可行。对 Physical AI 这不只是计算问题,更是表征问题:长程世界建模要的不是更长上下文,而是在不同时间尺度上维持正确的控制变量。Kairos 因此引入 LinearDiT 骨干 + 混合线性时间注意力,把时间建模分解为三条互补路径:滑动窗注意力(SWA)抓局部动力学(运动连续、接触转换、滑移、碰撞、手眼校正),膨胀滑动窗注意力(DSWA)抓中程依赖(物体交互历史、工具使用、子任务转换、延迟但仍是局部的因果),门控线性注意力(GLA)作为持久全局因果记忆(物体持久性、任务进度、长程依赖、延迟物理效应、失败历史)。骨干由反复交替的混合块组成,穿插 SWA、DSWA、GLA、条件层与 FFN。

这张图就是 LinearDiT 块的内部结构,展示了 SWA/DSWA/GLA 三条路径如何在同一 DiT 块里交错。要特别强调一个架构选择:GLA 是骨干里唯一的全局注意力机制,其它自注意力层都限定在局部时间邻域------这强行划清职责:局部注意力管精细运动与交互,GLA 管全局时序一致与因果结构。
全局路径:GLA 作为持久因果记忆。 Kairos 用 GatedDeltaNet 实现 GLA,与结构化状态空间模型(SSM)、线性注意力一族相近。GLA 的核心是 Delta 更新规则,解决普通线性 transformer 的"键碰撞"问题------不是纯加法更新,而是学着删掉过时或次要的键-值关联给新信息腾位。其逐步计算如下(公式 1--6):
q t = W Q x t , k t = W K x t , v t = W V x t , β t = σ ( W β x t ) \mathbf{q}{t}=\mathbf{W}{Q}\mathbf{x}{t},\quad \mathbf{k}{t}=\mathbf{W}{K}\mathbf{x}{t},\quad \mathbf{v}{t}=\mathbf{W}{V}\mathbf{x}{t},\quad \beta{t}=\sigma(\mathbf{W}{\beta}\mathbf{x}{t}) qt=WQxt,kt=WKxt,vt=WVxt,βt=σ(Wβxt)
v t old = S t − 1 k t , v t new = β t v t + ( 1 − β t ) v t old \mathbf{v}{t}^{\text{old}}=\mathbf{S}{t-1}\mathbf{k}{t},\qquad \mathbf{v}{t}^{\text{new}}=\beta_{t}\mathbf{v}{t}+(1-\beta{t})\mathbf{v}_{t}^{\text{old}} vtold=St−1kt,vtnew=βtvt+(1−βt)vtold
S t = α t S t − 1 − v t old k t ⊤ + v t new k t ⊤ = α t S t − 1 + β t ( v t − v t old ) k t ⊤ \mathbf{S}{t}=\alpha{t}\mathbf{S}{t-1}-\mathbf{v}{t}^{\text{old}}\mathbf{k}{t}^{\top}+\mathbf{v}{t}^{\text{new}}\mathbf{k}{t}^{\top}\;=\;\alpha{t}\mathbf{S}{t-1}+\beta{t}(\mathbf{v}{t}-\mathbf{v}{t}^{\text{old}})\mathbf{k}_{t}^{\top} St=αtSt−1−vtoldkt⊤+vtnewkt⊤=αtSt−1+βt(vt−vtold)kt⊤
其中 α t = σ ( W α x t ) ∈ ( 0 , 1 ) \alpha_t=\sigma(\mathbf{W}_\alpha\mathbf{x}_t)\in(0,1) αt=σ(Wαxt)∈(0,1) 是衰减门, S t \mathbf{S}_t St 是存储键-值关联的可学习联想记忆矩阵,输出 o t = S t q t \mathbf{o}_t=\mathbf{S}_t\mathbf{q}_t ot=Stqt。Delta 更新等价于在线回归损失 ∥ v t − S k t ∥ 2 \|\mathbf{v}_t-\mathbf{S}\mathbf{k}_t\|^2 ∥vt−Skt∥2 上的一步 SGD,再加上 α t \alpha_t αt 全局缩放旧记忆做自适应遗忘。

如上图,GDN 的记忆矩阵 S t \mathbf{S}_t St 既做局部 delta 纠正又做全局门控遗忘。GLA 在 Kairos 里传播物体持久性、任务进度、延迟物理效应、场景级上下文与长程依赖------一个被遮挡的物体稍后可能再度相关、一次失败的抓取会改变下一个动作、一种延迟的不稳定几秒后才显现,都是纯局部注意力无能为力的场景。论文明确:GLA 不只是计算捷径,而是控制状态记忆机制。
局部与中程路径:SWA 与 DSWA。 对隐藏状态 x ∈ R B × ( F ⋅ L ) × D \mathbf{x}\in\mathbb{R}^{B\times(F\cdot L)\times D} x∈RB×(F⋅L)×D( F F F 帧数、 L L L 每帧 token 数),SWA 把查询 i i i 的注意力限定在窗口 w w w 内(公式 7),窗大小取 w = L × window_size w=L\times\text{window\_size} w=L×window_size 覆盖少量相邻帧及其空间 token,适合快物理动力学。DSWA 沿时间维引入膨胀因子 d d d(公式 8,把 ( B , F ⋅ L , D ) (B,F\cdot L,D) (B,F⋅L,D) 重排为 ( B ⋅ d , F d ⋅ L , D ) (B\cdot d,\tfrac{F}{d}\cdot L,D) (B⋅d,dF⋅L,D) 后做 SWA),在二次方代价之外扩展时间感受野。交替使用 SWA( d = 1 d=1 d=1)与 DSWA( d ∈ { 6 , 12 } d\in\{6,12\} d∈{6,12})逐步聚合局部与中程信息。所有滑动窗块用 RoPE 相对位置编码保局部时空几何,全局位置与因果信息则交给 GLA。这种模块化还带来可扩展性:GLA 状态矩阵 S t \mathbf{S}_t St 可注入动作 token 实现低开销闭环状态更新;SWA/DSWA 每步常量显存、GLA 压缩历史,靠递归状态传递就能生成长视频,缓解长视频扩散的显存瓶颈;混合块设计也支持跨模态扩展。
理论:为何纯局部记忆在长程必然失败。 论文给出两层理论。先建模交互流为离散时间部分可观受控过程 { ( O t , A t ) } \{(O_t,A_t)\} {(Ot,At)}, H t = σ ( O 1 : t , A 1 : t − 1 ) \mathcal{H}t=\sigma(O{1:t},A_{1:t-1}) Ht=σ(O1:t,A1:t−1) 为到 t t t 的完整信息, W t ( w ) = σ ( O t − w + 1 : t , A t − w : t − 1 ) \mathcal{W}t^{(w)}=\sigma(O{t-w+1:t},A_{t-w:t-1}) Wt(w)=σ(Ot−w+1:t,At−w:t−1) 为最近 w w w 步窗口信息。设 Y Y Y 为平方可积的未来目标(未来潜帧坐标、物体持久性指标、延迟物理效应、任务进度、失败事件等), R t ( Z ) = E ( Y − Z ) 2 \mathcal{R}t(Z)=\mathbb{E}(Y-Z)\^2 Rt(Z)=E(Y−Z)2, R full ⋆ = inf Z ∈ L 2 ( H t ) R t ( Z ) R^\star\text{full}=\inf_{Z\in L^2(\mathcal{H}_t)}\mathcal{R}t(Z) Rfull⋆=infZ∈L2(Ht)Rt(Z), R w ⋆ = inf Z ∈ L 2 ( W t ( w ) ) R t ( Z ) R^\star_w=\inf{Z\in L^2(\mathcal{W}_t^{(w)})}\mathcal{R}_t(Z) Rw⋆=infZ∈L2(Wt(w))Rt(Z)。
公式(13): R w ⋆ − R full ⋆ = E ( m t − m t ( w ) ) 2 = E V a r ( m t ∣ W t ( w ) ) R_w^\star - R_\text{full}^\star = \mathbb{E}(m_t-m_t\^{(w)})\^2 = \mathbb{E}\\mathrm{Var}(m_t\\mid\\mathcal{W}_t\^{(w)}) Rw⋆−Rfull⋆=E(mt−mt(w))2=EVar(mt∣Wt(w)),且 R w ⋆ > R full ⋆ R_w^\star>R_\text{full}^\star Rw⋆>Rfull⋆ 当且仅当最优全历史预测器 m t m_t mt 不可由最近窗口恢复。换言之,只要未来目标依赖窗口外信息,纯局部模型就有严格正的超额风险------而且这是信息论下界,不是优化失败:参数再大、训练再久也消不掉,因为相关信息根本不在可达窗口里。这解释了"局部平滑在短程视觉合理、长程却崩"的现象:一旦因果事件落到上下文窗外,模型只能对多种可能隐历史取平均。
公式(17)给混合设计的充分性:在 Bayes 最优预测器可四分量分解 μ t ⋆ = Ψ ( U t ⋆ , C t ⋆ , D t ⋆ , G t ⋆ ) \mu_t^\star=\Psi(U_t^\star,C_t^\star,D_t^\star,G_t^\star) μt⋆=Ψ(Ut⋆,Ct⋆,Dt⋆,Gt⋆)(分别对应 SWA/DSWA/GLA 的短/中/全局状态)、各分量逼近误差有界 ε \varepsilon ε、全局记忆更新以 ρ ∈ ( 0 , 1 ) \rho\in(0,1) ρ∈(0,1) 收缩且单步扰动上界为 ξ ˉ \bar\xi ξˉ 的假设下,学习到的混合预测器满足渐近长程超额风险界:
R t ( μ ^ t ) − R t ⋆ ≤ ( L ε + L G ξ ˉ 1 − ρ ) 2 as t → ∞ \mathcal{R}{t}(\hat{\mu}{t})-\mathcal{R}{t}^{\star}\;\leq\;\left(\,L\,\varepsilon\;+\;\frac{L{G}\,\bar{\xi}}{1-\rho}\,\right)^{2}\quad\text{as }t\to\infty Rt(μ^t)−Rt⋆≤(Lε+1−ρLGξˉ)2as t→∞
关键在于 GLA 的门控 delta 更新是收缩的,全局记忆误差不任意累积而满足 e t ≤ ρ t e 0 + 1 − ρ t 1 − ρ sup i ξ i → ξ ˉ / ( 1 − ρ ) e_t\leq\rho^t e_0+\frac{1-\rho^t}{1-\rho}\sup_i\xi_i\to\bar\xi/(1-\rho) et≤ρte0+1−ρ1−ρtsupiξi→ξˉ/(1−ρ),即几何阻尼把单步扰动严格有界而非放大。于是 GLA 充当一个稳定的信息瓶颈:保住关键长程上下文却不累积复合误差。在可实现情形( ε = 0 , ξ ˉ = 0 \varepsilon=0,\bar\xi=0 ε=0,ξˉ=0)下退化为精确充分 μ ^ t = μ t ⋆ \hat\mu_t=\mu_t^\star μ^t=μt⋆。论文对理论范围说得很克制:它支持的是"当未来目标依赖窗口外信息时纯局部不足、在所述假设下混合多尺度记忆可把长程误差用分量逼近误差与全局记忆扰动界住"这一较窄但有意义的结论,不是对真机性能、闭环 regret 降低或物理正确性的普适保证。
4.3 跨具身数据课程与三阶段预训练:控制相关信息从哪来
§4.1--4.2 解决了"信息如何压进 Z t Z_t Zt 并维持",本节解决"控制相关信息从哪来"。论文的判断是:预训练不能简化成"堆通用视频"或"在小机器人数据上微调一个预训练视频生成器"------世界-动作模型要同时获得广物理先验、意图任务结构、机器人动作落地,而这三类知识不均等地存在于同一数据源:开放世界视频多但被动、人类行为有意图但不直接匹配机器人形态、机器人数据有动作落地却贵且窄。扁平混合把它们当可互换样本,是错的。
Kairos 因此把预训练组织成按介入强度 递进的课程(CEDC)。定义 D CEDC = D obs ∪ D human ∪ D robot \mathcal{D}\text{CEDC}=\mathcal{D}\text{obs}\cup\mathcal{D}\text{human}\cup\mathcal{D}\text{robot} DCEDC=Dobs∪Dhuman∪Drobot,且 τ ( D obs ) < τ ( D human ) < τ ( D robot ) \tau(\mathcal{D}\text{obs})<\tau(\mathcal{D}\text{human})<\tau(\mathcal{D}_\text{robot}) τ(Dobs)<τ(Dhuman)<τ(Drobot)------开放世界视频主要表达被动动力学,人类数据表达意图介入,机器人数据表达具身介入与具体动作空间。这一递进不是数据配方而是"控制信息获取策略":先建广物理先验、再学任务级意图结构、最后用机器人动作落地这些先验,使 Z t Z_t Zt 不只是视觉丰富而是日益控制充分。它还配第二条原则------控制信息密度:数据价值不靠原始规模,而靠它降低了多少关于动作后果/失败边界/接触/恢复/风险的确定性。课程具体分三阶段:
- Stage I 物理预训练 :在大规模开放世界图像/视频上训 Video DiT 骨干,做"物理观察者"------学场景如何演化、物体如何运动、交互如何展开。策略是 Web 规模物理先验注入 + 渐进训练(图像 256P → 图像-视频混合 256/480/720P → 持续训练把最大帧数从 81 延到 241,可直生成最长 15 秒高保真视频)。它还引入形状感知的时间步分布位移:固定调度器随潜时空形状变化产生不同的去噪难度,于是对 σ \sigma σ 序列做指数位移 σ ~ i = s σ i ( 0 ) 1 + ( s − 1 ) σ i ( 0 ) \tilde\sigma_i=\frac{s\sigma_i^{(0)}}{1+(s-1)\sigma_i^{(0)}} σ~i=1+(s−1)σi(0)sσi(0),其中 s = exp ( f ( L ) ) F s=\exp(f(L))\sqrt{F} s=exp(f(L))F 随潜空间 token 数与帧数增大而上移。再用领域 SFT + 模型合并(Model Soup/CART/TIES/DARE/WUDI)+ DPO 做精调。训练目标用 Flow Matching : z t = ( 1 − t ) z 0 + t ϵ \mathbf{z}_t=(1-t)\mathbf{z}_0+t\boldsymbol\epsilon zt=(1−t)z0+tϵ, u t = ϵ − z 0 \mathbf{u}_t=\boldsymbol\epsilon-\mathbf{z}0 ut=ϵ−z0,损失 L FM = E ∥ v θ ( z t , t , c ) − u t ∥ 2 2 \mathcal{L}\text{FM}=\mathbb{E}\\lVert v_\\theta(\\mathbf{z}_t,t,c)-\\mathbf{u}_t\\rVert_2\^2 LFM=E∥vθ(zt,t,c)−ut∥22。优化器 AdamW,学习率从 5 × 10 − 5 5\times10^{-5} 5×10−5 逐级衰减到 1 × 10 − 5 1\times10^{-5} 1×10−5。
- Stage II 具身预训练(人本数据):把课程从被动观察推向意图行为。人本数据提供目标导向动作、工具使用、物体操作、任务排序、恢复行为与长程过程结构。目标是让 Video DiT 在做完整动作落地之前就变得任务敏感、指令感知。它分三子阶段:人本预训练(人本+机器人视觉混合,3--15 秒变长片段)→ 机器人视觉训练(提高机器人片段比例,caption 从细节型渐变到细节+指令型)→ 目标具身微调(多相机具身可做多视角联合生成)。

如上图,CEDC 的要义是把"被动观察→意图行为→具身动作"当作发育路径而非扁平混合。论文也点出 Stage II 的局限:人手抓工具并不能一对一映射到机器人夹爪/灵巧手/人形执行器,所以 Stage II 不算最终动作落地,只是为 Stage III 准备意图、指令条件化的任务结构化世界动力学。

上图是 Stage II 后的跨具身生成样本,覆盖单臂、双臂、灵巧手与人形------这与"统一的多具身多任务大脑"目标一致,说明世界知识能在不同物理配置间迁移。

上图展示的是 Kairos 调度器在三阶段的 σ \sigma σ 域重映射:分辨率越高、视频越长,有效位移强度越大、时间步上移越强,把调度步重新分配到对预测误差更敏感的轨迹区段。
- Stage III regret-aware 世界-动作训练 :引入机器人交互数据,把先验与任务语义和可执行动作、执行后果、安全风险、恢复代价连起来。它有两个耦合组件。其一是 regret 对齐训练 ------从高控制信息密度机器人经验构造执行偏好监督:挖出失败、恢复、接触丰富事件、近不安全交互、边界情形以及模型预测 rollout 与日志执行的不匹配,在匹配任务上下文里构造偏好对,偏好标签来自任务完成、物理合理、稳定接触、安全裕度、恢复质量、与日志结果一致性等执行内生准则。这把"失败/边界"从被滤掉的坏数据变成"哪种未来物理代价更高"的对比证据,并用 DPO 式 pairwise 目标对齐世界-动作表示。其二是联合世界-动作训练------把偏好对齐的表示落地到可执行动作:Video DiT 与 Action DiT 严格按时间对齐训练,联合损失
L joint = L video + λ L action \mathcal{L}{\text{joint}}=\mathcal{L}{\text{video}}+\lambda\,\mathcal{L}_{\text{action}} Ljoint=Lvideo+λLaction
其中 L video \mathcal{L}\text{video} Lvideo 正则未来视觉演化与物理一致性、 L action \mathcal{L}\text{action} Laction 训练未来动作预测、 λ \lambda λ 平衡两者。为提效,Action DiT 由预训练 Video DiT 权重插值初始化,且训练时用固定时间步位移(不像 Video DiT 用随潜 token 数动态指数位移),因为 Action DiT 在低维近定长动作空间上稳定优化用固定位移即可。联合训练还支撑反事实接口:同一 Z t Z_t Zt 上不同未来动作候选应导致不同预测结果。
这套基础设施在算子级并行训练上也有讲究:标准视频模型用 Ulysses/RingAttention 等 Context Parallel,但 Kairos 的线性注意力有严格顺序依赖、膨胀局部注意力不依赖全局 token,直接套标准并行会因冗余广播与通信开销退化。所以 Kairos 用算子级定制并行(SWA 局部分片、DSWA 谨慎重排、GLA 顺序/递归状态处理、FFN 与投影张量并行)+ 算子融合与通信优化 + 自适应并行,支撑 720P/15 秒的长程训练。
4.4 数据引擎:从规模到控制信息密度
论文把数据当作"构造 Z t Z_t Zt 所需信息的基质"。核心原则是 控制信息密度(CID):数据价值不靠规模或美学,而靠它降低了多少关于控制相关变量的不确定性。论文给出概念定义:
C I D ( d ) = H ( Θ ∣ D ) − H ( Θ ∣ D ∪ { d } ) C o s t ( d ) \mathrm{CID}(d)\;=\;\frac{H(\Theta\mid\mathcal{D})\,-\,H\!\left(\Theta\,\big|\,\mathcal{D}\cup\{d\}\right)}{\mathrm{Cost}(d)} CID(d)=Cost(d)H(Θ∣D)−H(Θ D∪{d})
其中 d d d 为数据段、 D \mathcal{D} D 为已有数据集、 Θ \Theta Θ 为控制相关变量(动作后果、接触、失败边界、恢复、安全、任务进度、想象-真实差距)、 C o s t ( d ) \mathrm{Cost}(d) Cost(d) 含采集/标注/算力/安全/部署代价。论文明确这是"数据侧 regret 目标的代理",当前系统并未把它实现成完整优化目标,而是用它澄清方向。由此推出数据优先级(降序):近边界失败与恢复 > 近边界成功 > 接触丰富 > 普通成功轨迹 > 普通观察视频------以诊断价值而非事件标签来排序,极端非诊断失败对安全过滤有用但不假定 CID 最高。

数据采集混合公开数据集(Koala-36M、OpenHumanVid、VidGen、AgiBotWorld-Beta、DROID)与自研互联网规模数据+第一人称人手操作数据,按 D obs → D human → D robot \mathcal{D}\text{obs}\to\mathcal{D}\text{human}\to\mathcal{D}_\text{robot} Dobs→Dhuman→Drobot 组织。用 PySceneDetect 多检测器做镜头分割(精度 >95%、召回约 80%,优化管线报告 77.44%),保留 5--40 秒段、长于 40 秒再切 20 秒、丢 <5 秒,得数亿标准化片段。

数据治理分两层。基础质量过滤用:美学分(CLIP+MLP)、运动分(RAFT 光流)、AIGC 分(ViT-Large 判别器)、NSFW(Falconsai)、模糊分(Laplacian)、人体运动分(YOLOX+ByteTrack 归一化像素速度)、OCR 分(DBNet 文本区占比)、去重(CLIP 嵌入池近邻去重)。控制相关事件过滤则是当前未直接算 CID、留作未来迭代的扩展方向:近边界失败、恢复事件、近边界成功、接触转换、安全与异常、长程依赖。这些事件相对普通成功片段稀少却价值高------没见过近边界失败的模型能生成干净成功未来却预测不了部署会在哪崩。

标注用 Qwen3-VL-8B 自动管线(固定时间步采样+结构化 tag 规则+JSON 输出),分视频属性 tag 与领域 tag(Human/Robot/Physics/General 四类,每个视频唯一归属)。captioning 用分治策略------tag 给语义约束、VLM 给细节解读、再由多模型集成(Qwen3-VL-8B、InternVL3.5-8B、Mimo-7B、MiniCPM-V4.5 各自生成初稿、Qwen3-VL-8B 做融合)产出最终 caption,要求覆盖主体、动作、环境、光照氛围、相机运动五维。

增强文本进一步给"物理中心 caption"(对 physics tag 强化物理定律表达,描述背后原理而非表面现象)与"长程任务 caption"(把复杂任务拆成可执行子步、显式定义步骤间依赖与因果)。失败-恢复-风险标注被列为自然扩展。数据工程基建在单机 8×4090+180 vCPU 上把三个核心算子大幅提速:镜头检测 1169.6→8640 小时/天(7.4×)、帧过滤 612→18332.7(29.9×)、captioning 137→4665.9(34.0×),端到端超 30×。意义不只是快------它让高 CID 数据的挖掘与结构化在经济上变得可行。
4.5 推理:自演化、蒸馏与硬件感知优化
论文把推理重新定义为"控制充分状态的部署感知运作",因为推理是 Z t Z_t Zt 进入观察-动作-反馈环的机制:模型离线 rollout 再好看,若推理太慢、太占显存或依赖不现实硬件,就无法在动作执行前支撑动作选择、风险评估、失败预测、恢复规划。Kairos 因此把推理视为"regret 相关信息吞吐量"------重点不是 rollout 多好看,而是每单位时间/显存/算力/通信能产出多少控制相关信息。

自演化方面,Kairos 用"代理 rollout-评估-精炼"环:收到指令后生成与预测模块模拟多条物理合理的未来 rollout 与动作轨迹,理解模块借 CoT 充当代理评估器,按物理合理、任务进度、风险相关变量打分排序。当前用 prompt 改写 agent 实例化------重写器作为主动演化代理,对生成质量评分后动态改写用户指令,构成局部自改进环。这一机制未来可扩展到 WAM 的策略配置(评估器可给任务成功/碰撞风险/接触稳定/恢复代价/安全裕度打分,精炼对象可指向策略、动作提议分布、rollout 评估器或模型本身),但当前只在 prompt/生成层验证,真机策略自改进留作未来。

推理效率走两条路。其一是时间步蒸馏 :把预训练 480P 具身世界模型蒸馏成 4 步生成器。用 DMD(分布匹配蒸馏) ------学生 G θ ( ξ ) G_\theta(\boldsymbol\xi) Gθ(ξ) 直接把高斯噪声映到数据空间,引入辅助 fake-score 网络 ϕ \phi ϕ 学速度场,用教师 CFG score s ~ T = ( 1 + w ) s T ( c pos ) − w s T ( c neg ) \tilde{\mathbf{s}}T=(1+w)\mathbf{s}T(c\text{pos})-w\mathbf{s}T(c\text{neg}) s~T=(1+w)sT(cpos)−wsT(cneg) 做监督,最小化前向 KL D KL ( p θ ∥ p T ) D\text{KL}(p_\theta\|p_T) DKL(pθ∥pT) 的 score 梯度 ∇ θ L DMD \nabla_\theta\mathcal{L}\text{DMD} ∇θLDMD。但 DMD 在具身世界模型上有失败模式(长训不稳与模式塌缩、运动缩减、视觉同质化),所以再叠 一致性蒸馏(CM) ------用单步 Euler 在教师 ODE 轨迹上构造邻接态 z ^ σ n \hat{\mathbf{z}}{\sigma_n} z^σn,让学生预测匹配邻接点的教师预测。最终混合目标 L = L CM + λ score L DMD \mathcal{L}=\mathcal{L}\text{CM}+\lambda\text{score}\mathcal{L}_\text{DMD} L=LCM+λscoreLDMD,CM 稳定并保结构、DMD 借 CFG 提升保真。蒸馏后 4 步生成在 PAI-Bench 上定性复现了教师的空间结构、运动动力学与物理交互,但论文把"与教师的定量比较(FVD、下游具身榜单成功率持平)"留作未来。其二是硬件感知优化:云侧低延迟用混合并行(SWA 块用 Ulysses 序列并行 + All-To-All、cross-attention 用基本序列并行预计算缓存全 KV、Gated DeltaNet 用改的张量并行按头切分+微批、VAE 解码器按时间线分片并行)+ TeaCache 复用时间步相关计算 + torch.compile 与算子融合;消费级设备低成本用 FP8/INT4 量化(Q/K 保 INT8/INT4、PV MatMul 用 FP8 Tensor Core、Q 减通道均值提精度、per-thread/per-warp 量化更细粒度)+ Tiled Gated DeltaNet 流式访问避 OOM + 文本编码器 weight-only INT4 量化。
Kairos 还支持多种推理模式:全视觉 rollout(仿真/数据生成/失败分析,最贵)、潜 rollout 与评估(候选排序/风险估计/轨迹评估,平衡可解释与效率)、action-only 预测(WAM 核心,训练联合、推理关掉视频分支只出动作 token,省算力却保联合学到的世界动力学,但定量延迟收益本工作未报)、代理自对齐(当前验证的自改进机制)、未来闭环机器人模式(真观察→维持 Z t Z_t Zt→生成/评估候选动作→预测失败或安全风险→执行→按想象-真实差距更新模型/评估器/策略,所需验证包括想象-真实 rollout 相关、失败预测精度、风险校准、安全过滤、恢复、可测策略改进)。
五、实验与证据:结果能支撑到什么程度
5.1 评价范围与"代理证据"的框架
实验评估的是 Kairos 是否学到了控制充分世界-动作建模所需的若干能力,但当前评估提供的是 regret 相关能力的代理证据,不直接测量真实闭环 regret 降低,也不直接估计 R e g H \mathrm{Reg}_H RegH。论文用一张"评估目标 ↔ 当前代理评估 ↔ 支持什么 ↔ 还不证明什么"的表把边界讲清楚:物理合理与指令落地用 WorldModelBench-Robot/DreamGen/PAI-Bench-Robot/人评(支持"学了物理合理、指令对齐的具身未来",不证明"真机任务成功或失败避免");动作-结果预测与泛化用 RoboTwin 2.0/LIBERO-Plus(支持"联合世界-动作建模改善操作与鲁棒性",不证明"匹配真机初态的反事实验证");长程状态维持用 PAI-Bench-15s(支持"15 秒内更好保场景一致",不证明"分-时-日级真机任务记忆");regret 相关未来预测用 regret-relevant cases(支持"保住了目标条件的控制信息",不证明"定量 regret 降低");部署效率用延迟对比(支持"有利的效率-能力权衡",不证明"全硬件全任务实时闭环")。

这张总览图把 Kairos 的两类核心证据并排放:(a) 世界-动作榜单对比、(b) 具身世界模型榜单对比、© DiT 每步推理时间------后者在小图窗里可见 Kairos 随序列长度线性扩展,是长时长生成吞吐稳定的关键。
5.2 具身世界模型榜单
在 WorldModelBench-Robot 上,Kairos-4B 以总分 9.30 居首,指令跟随 2.36(与 16B Cosmos3-Nano 并列最佳),物理一致 4.96(牛顿力学、流体、重力均 1.00),常识的时序质量 1.00。对比之下 Lingbot-28B 9.04、Cosmos3-Nano-16B 9.26、Abot-Physworld-14B 8.96、Cosmos-Predict2.5-14B 8.94、Wan2.2-5B 8.52、GigaWorld-0-2B 8.46。DreamGen 上 Kairos 平均物理一致 AVG_PA 0.538、综合 AVG_Score 0.618 均居首,指令跟随 AVG_IF 0.698 仅次 14B Wan2.2 的 0.703。PAI-Bench-Robot 上 Kairos 在 <10B 小模型里 Domain 88.59、Overall 82.57 居首,用 4B 与 16B Cosmos3-Nano(82.62)基本持平、超过 Wan2.1-14B 与未做 DPO 的 Cosmos-Predict2.5-14B。



人评方面,论文招 10 名志愿者对 5 个模型匿名排序。在 PAI-Bench 机器人子集上,4B Kairos 对 14B Cosmos-Predict2.5 胜率 60.2%、对 28B Lingbot 49.1%、对 Wan2.2-5B 高达 74.1%;WorldModelBench 机器人子集上对 Wan2.2-5B 86.7%、对 Lingbot-28B 74.7%、对 Cosmos-Predict2.5-14B 65.0%;DreamGen 上对 Wan2.2-5B 88.8%、对 Cosmos-Predict2.5-14B 47.6%(3.5× 参数差下仍有竞争力)。

消融上,人本数据 scaling 让 WorldModelBench-Robot 指令跟随 2.10→2.33、总分 9.08→9.25;再把 VLM 从 Qwen2.5-VL-7B-Instruct 升级到参数更少但多模态理解更强的 Qwen3.5-2B,进一步 2.33→2.36、9.25→9.30。这印证"更强理解=更好的指令落地与未来预测"。
5.3 世界-动作榜单
RoboTwin 2.0(双臂、50+ 任务)上 Kairos 在 Clean 设定 96.9 居首、平均成功率 96.1(与 MotuBrain 的 96.0 并列最高量级)。对比 VLA 路线(π0 62.2、X-VLA 72.9、π0.5 79.8、starVLA 88.3、LingBot-VLA 85.9、G0.5 93.2)与 WAM 路线(GigaWorld-Policy 85.5、Motus 87.8、LingBot-VA 92.2、Fast-WAM 91.8、AIM 93.1、SANTS 94.4、MotuBrain 96.0),Kairos 平均最高。
LIBERO-Plus(强调场景泛化、视觉分布漂移鲁棒、组合操作推理与长程策略稳定)上 Kairos 微调后达到 SOTA:Kairos 平均 89.0、Kairos-joint(推理时未来视频与动作 token 联合去噪)90.8,超过 ACoT-VLA 88.0、π0.5 85.7、ProGAL-VLA 85.5、RoVLA 82.0、OpenVLA-OFT 79.6、Gr00t-N1.6 79.4。消融三连击:人本预训练 +6.0(83.0→89.0);生成-预测联合训练 +23.2(仅 ActionDiT 65.8→89.0);推理时联合去噪 +1.8(89.0→90.8)。这几个消融几乎就是论文方法主张的"量化背书":人类数据带来可迁移动作先验、视频生成目标给动作预测提供了世界建模监督、显式未来想象在推理时仍能进一步提升动作预测。
5.4 通用世界模型榜单与长程生成
通用 PAI-Bench(含 av/physics 等全域)Kairos-4B Overall 80.8,与 Cosmos-Predict2.5-2B/14B 的 81.0 基本持平且优于同量级开源基线,i2v-bg 居首。完整 WorldModelBench 的 TI2V/T2V 上 Kairos 与 14B Cosmos-Predict2.5 接近。VideoPhy(688 人验 prompt,344 测试)上 Kairos 45.55 居首,超过 Cosmos-Predict2.5-14B 45.16 与 Wan2.2-5B 38.85------4B 打过 14B,体现参数效率与物理定律遵循。



长程生成用 PAI-Bench-15s。基线从 5 秒延到 15 秒明显退化:Cosmos-Predict2.5-2B/14B 的 i2v-bg(97.4/97.9→93.6/93.7)、i2v-s(96.6/97.2→92.0/91.8)、自驾(66.1/67.8→59.7/61.9)、机器人(80.8/79.9→72.8/68.1)都掉;Wan2.2-5B 自驾 65.2→54.3、机器人 79.3→70.1。Kairos 在 15 秒 Overall 79.9 居首(超 Cosmos 77.2/76.2、Wan2.2 77.8),自驾 66.7、机器人 80.4、工业 86.8、人 83.2,且从 5 秒到 15 秒 Overall 退化最小------这给"多时间尺度状态维持"提供了相对证据(但论文声明绝对长程保持仅评估到 15 秒)。

5.5 效率-能力权衡与 regret-relevant 案例
效率证据集中在两张表。表 4:在 Kairos-4B-robot 480P 5s 蒸馏模型上,A800 单卡 11.7 秒/4 卡 3.0 秒,RTX5090 13.9/11.4/5.7 秒------A800 4 卡 480P 达实时吞吐。表 5(TI2V、720P、5s):
| 模型 | 显存(GB) | 复杂度(PFlops) | 1 GPU(s) | 4 GPUs(s) |
|---|---|---|---|---|
| Lingbot-28B | 46.1 | 347.4 | 5525 | 1436 |
| Cosmos-Predict2.5-14B | 70.2 | 156.5 | 2526 | 687 |
| Wan2.2-5B | 23.4 | 16.6 | 201 | 85 |
| Kairos-4B | 23.5 | 2.3 | 43 | 9 |
Kairos-4B 显存与 Wan2.2-5B 相当、复杂度最低、1 卡 43 秒/4 卡 9 秒,全面领先。跨 480P/720P 与 5/10/15 秒组合,Kairos-4B 始终最低延迟;相对 Cosmos-Predict2.5-14B 有 28×--85× 延迟降低、相对 Wan2.2-5B 有 2.5×--3.7× 加速;且随分辨率与时长大致线性扩展,而其它模型指数增长。论文明确:效率之所以"regret 相关",不是因为快生成直接证明低 regret,而是低延迟与低显存决定了"代价相关的预测能否在执行前进入观察-动作-反馈环"。
最后看一组 regret-relevant 案例:给定同一输入帧与任务目标,对比 Kairos 与 Cosmos-Predict2.5-2B。"把衣服放进洗衣机"案例里 Kairos 把 rollout 始终对准把衣服移向洗衣机开口、基线任务完成进展较弱;"把黄色容器放进塑料袋"案例里 Kairos 更清晰地保住容器-袋交互意图、基线物体-目标一致性较弱。这些案例提示 Kairos 更好保住目标条件的控制信息------对 regret-aware Physical AI 这很关键,因为想象 rollout 的价值取决于它是否保住了决定物理代价的任务条件。

六、这篇工作的边界与可复现性
边界是 Kairos 最坦诚也最值得注意的部分。论文通篇把当前结果定位为"代理证据",反复强调不直接测量 R e g H \mathrm{Reg}_H RegH、不构成闭环 regret 降低的证明。具体地,下列关键能力当前未被测量,也正是从"代理证据"走向"直接 regret 证据"所需的:想象-真实 rollout 相关性(视频榜单评估生成合理性而非想象 rollout 是否匹配真机 rollout)、反事实动作验证(WAM 榜单评估动作表现而非系统测同初态下多候选动作的不同结果)、失败预测与安全过滤(不直接测能否在执行前预测失败或减少不安全事件)、恢复学习(榜单主要评成功或生成质量而非恢复策略与恢复数据是否提升策略鲁棒)、想象经验带来的策略改进(不直接证明想象 rollout 改进真机策略)、不确定性与校准(世界模型应知道自己的预测何时不确定)。论文还用一张"未来闭环评估协议"表把每项能力对应的真机测试与目标证据写明(如安全过滤=用 Kairos 拒绝不安全候选动作、目标=不安全事件减少且任务成功不过度下降)。
复现性与工程风险层面:模型侧------Video DiT + Action DiT 的 MoT、GLA/Gated DeltaNet、混合时间注意力都已交代机制,但具体超参(窗口大小、膨胀因子 6/12 的选用、 λ \lambda λ、 λ score \lambda_\text{score} λscore、蒸馏的 CFG 权重 w w w)部分以"matched to teacher's deployment value"等模糊表述带过;Action-only 推理的定量延迟收益本工作未报,作者自己列为"expected"而非"measured"。数据侧------CID 是概念定义而非已实现目标,控制相关事件过滤是"未来迭代"方向,当前管线只到质量/安全/冗余过滤;镜头分割召回在不同段落有 >95% 精度/~80% 召回与 77.44% 召回两种表述,存在内部不一致。蒸馏侧------DMD 的失败模式(模式塌缩、运动缩减、视觉同质化)是"开发过程中的定性观察而非定量基准",与教师的定量比较(FVD、下游成功率持平)留作未来。这些都不影响结论方向,但读者按"可复现"标准时应预期需要作者后续补齐细节。
七、如果继续研究/落地,应该关注什么
方法论上,Kairos 最大的可迁移启发是把"世界模型该保留什么信息以降低未来昂贵错误"当成统一问题,让数据、表示、记忆、效率不再是分开的工程项。落地时值得关注的几条:第一,把 regret 从概念落到可测量 ------CID 公式 C I D ( d ) = H ( Θ ∣ D ) − H ( Θ ∣ D ∪ { d } ) / C o s t ( d ) \mathrm{CID}(d)=H(\\Theta\\mid\\mathcal{D})-H(\\Theta\\mid\\mathcal{D}\\cup\\{d\\})/\mathrm{Cost}(d) CID(d)=H(Θ∣D)−H(Θ∣D∪{d})/Cost(d) 给了数据侧代理,但需要真机 rollout、仿真对齐、失败挖掘、接触事件检测、恢复标注、安全风险校准来真正计算;第二,反事实闭环与介入泛化的真机验证 ------同初态下执行不同动作、看预测分支是否匹配真实动作效应,这是从"观察-动作相关"到"动作-结果因果"的核心证据;第三,多时间尺度记忆超过 15 秒 ------当前只评估到 15 秒,分-时-日级真机任务记忆需要更长评估与可能的新记忆机制;第四,action-only 推理的实测收益 ------不对称设计是"最清晰的部署就绪路径",但定量延迟/质量权衡尚需报告;第五,自演化从 prompt 级扩到策略级 ------评估器能给任务成功/碰撞/接触/恢复/安全打分后,精炼对象可指向策略、动作提议分布、rollout 评估器或模型本身,这是走向"想象经验带来可测策略改进"的自然路径。产品形态上,一个能在控制环内维持 Z t Z_t Zt、对候选动作做反事实评估、过滤不安全动作、从失败学恢复的世界-动作底座,是比"更好的视频生成器"更接近 Physical AI 落地的形态。
八、术语与概念速查
| 类别 | 术语 | 一句话定位 |
|---|---|---|
| 对比基线(世界模型/视频) | Cosmos / Cosmos3-Nano / Cosmos-Predict2.5 | NVIDIA 物理 AI 世界基础模型族,Kairos 在多项榜单上以 4B 对标其 2B--16B |
| 对比基线(世界模型/视频) | Wan2.2 / Wan2.1 | 阿里开源视频生成模型,Kairos 同量级效率参照 |
| 对比基线(世界模型/视频) | Lingbot-28B / LingBot-VLA/VA | 体量最大的对比基线,Kairos 用 4B 对其 28B |
| 对比基线(世界-动作) | MotuBrain / Motus / Fast-WAM / AIM / SANTS / Being-H0.7 | WAM 路线对比对象,RoboTwin 2.0 上与 Kairos 同一量级 |
| 对比基线(VLA) | π0 / π0.5 / X-VLA / starVLA / G0.5 / ACoT-VLA / OpenVLA-OFT / Gr00t-N1.6 | VLA 路线(视觉-语言-动作直接映射)对比对象 |
| 方法变体 | Kairos / Kairos-4B / Kairos-robot-4B | 原生世界-动作栈主体,4B 参数 |
| 方法变体 | Kairos-joint | 推理时未来视频与动作 token 联合去噪的变体(LIBERO-Plus 89.0→90.8) |
| 方法变体 | Action-only 推理 | 训练联合、推理关掉视频分支只出动作 token 的不对称模式(定量收益未报) |
| 蒸馏变体 | DMD(分布匹配蒸馏) / CM(一致性蒸馏) | 4 步蒸馏的两项损失,CM 稳结构、DMD 借 CFG 提保真 |
| 注意力组件 | SWA / DSWA / GLA(Gated DeltaNet) | 局部滑动窗 / 膨胀滑动窗(中程) / 全局门控线性因果记忆 |
| 训练目标 | Flow Matching | Video DiT 与 Action DiT 共用的连续时间速度场匹配目标 |
| 数据概念 | CID(控制信息密度) | 每单位代价下数据对控制相关变量的信息增益;概念定义,未完整实现 |
| 数据课程 | CEDC / Stage I-II-III | 跨具身数据课程:物理预训练→人本具身预训练→regret-aware 世界-动作训练 |
| 评测概念 | proxy evidence(代理证据) | 当前榜单度量进入 J H J_H JH 的组件,不直接度量 R e g H \mathrm{Reg}_H RegH 或闭环 regret |
| 评测概念 | R e g H ( f ; g ) \mathrm{Reg}_H(f;g) RegH(f;g) | 表征诱导 regret:压缩 H t → Z t H_t\to Z_t Ht→Zt 后最优规划多付出的物理代价 |
| 评测概念 | J H J_H JH / J ^ H \widehat{J}_H J H | 执行候选动作序列的期望物理代价及其模型估计 |
| 硬件/精度 | FP8 / INT4 / INT8 | 消费级设备量化:Q/K 用 INT8/INT4、PV 用 FP8 Tensor Core、文本编码器 weight-only INT4 |
| 评测榜单 | WorldModelBench(-Robot) / DreamGen / PAI-Bench(-Robot/-15s) / RoboTwin 2.0 / LIBERO-Plus / VideoPhy | 具身世界模型、世界-动作、通用物理推理、长程生成等评测集 |
九、拓展思考:值得继续扩展研究与思考的创新点
把 Kairos 的开放问题展开成可执行的研究方向,最有张力的几条都落在"机制改进 + 评测扩展 + 可复现闭环"上。机制上,GLA 状态矩阵 S t \mathbf{S}_t St 作为压缩潜记忆,注入动作 token 做低开销闭环状态更新是个明确但尚未充分实证的扩展点------可设计"动作门控"实验,量化动作信号注入 GLA 更新后对控制环延迟与状态维持质量的影响;混合注意力的算子级并行当前是为 Kairos 定制,能否抽象成"线性注意力 + 膨胀局部 + 全局递归"通用并行范式、供其它 long-context DiT 复用,是有工程价值的方向。评测扩展上,最该补的是一张"想象-真实 rollout 相关性"的真机评测------给同初态、跑模型预测 rollout 与真机执行、量相关系数,这是把代理证据升级为 regret 证据的临界实验;与之配套的是反事实闭环评测(同初态多动作、看分支是否匹配真实动作效应)与失败预测精度/召回评测(执行前预测滑移/碰撞/不稳定抓取/过力/人近距/不可逆态)。可复现闭环上,CID 从概念到可算需要把 Θ \Theta Θ(控制相关变量)操作化为可从真机/仿真日志抽取的可观测量,并把 C o s t ( d ) \mathrm{Cost}(d) Cost(d) 扩展到安全风险与部署代价------一旦可算,就能用 CID 主动调度"近边界失败与恢复 > 近边界成功 > 接触丰富 > 普通成功 > 普通观察"的数据采集,真正实现"按控制信息密度而非规模扩数据"。产品形态上,最值得想的是"action-only 推理 + 潜 rollout 评估"组合成控制环内的轻量世界-动作评估器:不渲染全视频、只在潜空间对候选动作打分排序、过滤不安全动作、必要时才触发全视觉 rollout 做可解释诊断------这把 Kairos 的"部署感知"与"regret-aware"两条主线收敛成一个可落地的物理 AI 决策底座,也正好回应了论文自己设的"未来闭环机器人模式"那张协议表。
thrm{Cost}(d)$ 扩展到安全风险与部署代价------一旦可算,就能用 CID 主动调度"近边界失败与恢复 > 近边界成功 > 接触丰富 > 普通成功 > 普通观察"的数据采集,真正实现"按控制信息密度而非规模扩数据"。产品形态上,最值得想的是"action-only 推理 + 潜 rollout 评估"组合成控制环内的轻量世界-动作评估器:不渲染全视频、只在潜空间对候选动作打分排序、过滤不安全动作、必要时才触发全视觉 rollout 做可解释诊断------这把 Kairos 的"部署感知"与"regret-aware"两条主线收敛成一个可落地的物理 AI 决策底座,也正好回应了论文自己设的"未来闭环机器人模式"那张协议表。