NEWTON：用于物理基础视频生成的智能体规划
paper title：NEWTON: Agentic Planning for Physically Grounded Video Generation
paper 是浙江大学发布在arxiv 2026的工作
Code：链接
摘要
视频生成模型能够产生视觉上引人注目的结果，但系统性地违反物理常识------在 VideoPhy-2 上，最佳模型的联合准确率仅为 32.6%。我们识别出一个"规格瓶颈"：文本提示词是物理世界的有损压缩，省略了完全决定动力学的参数，而单纯的模型规模扩展无法恢复从未被指定的内容。基于这一诊断，我们推导出物理条件必须满足的三个属性------充分性、动态性和可验证性------并表明现有方法都无法同时满足三者。我们提出 NEWTON：将视频生成从系统输出降级为智能体工具箱中的一个动作，由一个学习得到的规划器编排物理感知工具（关键帧生成、科学计算、提示词精炼）来构建丰富的条件信息，并由一个验证器闭合循环实现迭代重规划。规划器是唯一可训练的组件，通过 Flow-GRPO 在实时多轮循环中进行在线策略优化。在 VideoPhy-2 上，NEWTON 将 LTX-Video 的联合准确率从 21.4% 提升到 29.7%，将 Veo-3.1 的联合准确率从 30.7% 提升到 37.4%，且无需修改任何一个生成器。
1. 引言
视频生成已取得显著进展。最近的模型能从文本提示生成照片级、时间连贯的视频，在多样化的场景和风格上接近真实视频的视觉质量。
然而，这些模型系统性地在物理上失败。球在没有接触的情况下改变速度，下落物体忽略重力，碰撞违反动量守恒。如图 2 部分所示，这些失败几乎覆盖所有物理领域：牛顿力学、光学、热力学、材料属性，以及运动合理性和实例保持。扩大模型规模或训练数据并未弥合这一差距，这指向一个更根本的原因。
我们认为，根本原因不是容量不足，而是规格不足。如图 1 所示，在基于 DiT 的生成器中，所有引导都通过条件信号------文本、深度图、运动向量------进入，但文本提示词是物理世界的有损压缩。像"一个球从桌子上滚下来"这样的提示省略了质量、摩擦、桌子高度和初始速度，这些参数完全决定轨迹。生成器必须从一个句子幻觉出一组一致的值------这是一个不适定问题，会产生视觉上合理但物理上不连贯的动力学。
图1. 物理基础视频生成的三种范式。(a) 端到端：生成器根据文本臆造所有物理规律。(b) 条件式：使用固定模态信号（深度、身份），但无法针对不同场景自适应。© NEWTON（我们的方法）：训练得到的规划器协调物理工具，验证器闭环反馈，实现迭代式重新规划。
从这个观点出发，我们推导出物理条件必须满足的三个属性：(1) 充分性------覆盖足够的物理维度以确定动力学，不留参数未指定；(2) 动态性------按场景适配，因为不同场景需要不同的物理规格；(3) 可验证性------检查输出是否遵循预期物理，并在不符合时进行纠正。没有现有方法能同时满足这三个属性。端到端训练隐式嵌入物理（不充分）。ControlNet 提供固定模态信号（不动态）。所有一次性方法都缺乏反馈（不可验证）。
图2. 左侧：一瓶啤酒被倒入马克杯直到装满------我们的方法（上方）呈现了液体逐渐填充并产生泡沫堆积的过程，而所有其他方法都保持液面高度固定。右侧：一把小刀在一块木头上刻出凹槽------我们的方法生成了逐渐加深的凹槽和不断累积的木屑，而所有基线方法都没有触发材料去除。蓝色框表示物理正确的动态过程；红色框表示违反物理规律的结果。
同时满足这三个属性需要一个能够推理给定场景需要哪些物理知识、访问异构外部源以获取这些知识、并基于评估反馈进行迭代的系统。任何单模型修改都无法实现这一点：重新训练嵌入物理但没有保证，固定条件无法跨物理领域适应，测试时搜索在生成器内部运行无法调用外部知识。这些能力------自适应推理、异构工具使用和闭环纠正------正是自主智能体的特征，这就引出一个自然的问题：我们如何构建一个智能体系统，它能按场景推理缺失的物理、通过外部工具获取这些物理、并迭代纠正生成------所有这些都不修改生成器本身？
我们提出 NEWTON（Neural Agentic World-Aware Tool-Orchestrated Navigation，神经智能体世界感知工具编排导航），其中视频生成被降级为智能体工具箱中的一个动作。它包含三个组件：决定为给定提示调用哪些物理感知工具的规划器（Planner），将这些工具与冻结视频生成器一同分发的执行器（Executor），以及对生成视频的物理合理性进行评分的验证器（Verifier）。这些组件以迭代循环运行：每个周期，规划器读取先前反馈并选择工具来构建更丰富的条件，执行器产生视频，验证器评估它------将分数反馈用于重规划。只有规划器是可训练的；它通过 Flow-GRPO 在实时多轮循环内进行在线策略优化，而工具库、视频生成器和验证器都保持冻结。这种架构直接映射到三个要求：工具库通过覆盖互补的物理维度提供充分性；规划器通过按场景选择和组合工具提供动态性；验证-纠正循环通过将评估反馈用于重规划提供可验证性。
NEWTON 在两个冻结的生成器（LTX-Video 和 Veo-3.1）上显著改善物理常识，且无需修改它们。规划器学到与场景相关的工具调度------为投射物计算轨迹、为空间约束生成关键帧、为材料属性精炼提示词。物理一致性从期望涌现转变为通过智能体规划进行工程化构造。
总结来说，我们的贡献是：
- 我们将规格瓶颈识别为视频生成中物理失败的根本原因，并推导出任何物理条件必须满足的三个必要属性------充分性、动态性和可验证性。
- 我们提出 NEWTON，一个智能体框架，将视频生成从系统输出降级为规划器工具箱中的一个动作，在迭代循环中编排物理感知工具和验证器。
- 我们引入一种训练方案，其中规划器------唯一可训练的组件------通过 Flow-GRPO 在实时多轮循环内进行在线策略优化，无需修改冻结的视频生成器。
- 我们在两个生成器上的 VideoPhy-2 上展示了显著改进，表明规划器发现的与场景相关的工具使用策略可以泛化到未见过的物理场景。
2. 相关工作
2.1 物理基础的视频生成
视频生成近年来受到了巨大关注。封闭系统如 Sora、Veo 和 Kling，以及开放权重模型 Wan、LTX-Video、Hunyuan-Video，可以生成具有强文本附着力和镜头控制的照片级视频片段。尽管规模快速扩展，这一表层对动力学是根本欠规格的，越来越多的物理基础视频生成工作应运而生以弥合差距。
一类工作将显式模拟器作为先验。PhysMotion 用可微 MPM 对粗粒度 3D 高斯物体进行时间步进，并用 T2I 模型精炼帧。PhysCtrl 在跨四种材料（弹性、沙、塑像泥、刚体）的 550K 模拟轨迹上训练生成式物理网络。PhysChoreo 进一步从单张图像引入部位感知材料场重建，并用时间指令的、物理可编辑的模拟器驱动生成器。这些方法提供强连续介质力学行为，但承诺了固定的模拟器族系，且不会按场景调整工具。NewtonGen 没有调用外部模拟器，而是嵌入神经牛顿动力学线性物理引导的神经 ODE 加残差 MLP。该公式对单物体连续运动很优雅，但在构造上难以处理碰撞和多物体交互。
补充方向是修改生成器本身以内化物理。VideoREPA 将自监督视频基础模型的 token 级关系蒸馏到 DiT 中，缩小可测的 Physion 物理理解差距。WISA 将物理分解为分层的文本、定性和定量信号，通过物理专家混合注意力块注入，并配对 WISA-80K 数据集。ProPhy 进一步推进了两阶段物理专家混合和 VLM 蒸馏的精炼块，产生各向异性、区域级物理对齐。基于奖励的后训练如 PhyGDPO 以类似的一次性方式转移隐式先验，没有按样本验证。
跨这些方向，没有方法同时满足引言中识别的充分性、动态性和可验证性属性，这些属性在 NEWTON 中被解决。
2.2 用于视觉生成的智能体系统
我们沿用智能体 LLM 系统的思路，其中规划器分解高层目标，从外部工具库中选择，执行所选工具，并在重规划之前批评结果。最近的工作强调，智能体本身（而非仅其工具）受益于通过在线策略训练而非由冻结的提示 LLM 驱动。例如，AgentFlow 证明，带在线策略 Flow-GRPO 训练的规划器-执行器-验证器-生成器堆栈在文本推理任务上能显著优于冻结的编排。
这种框架在图像生成中已被有效应用。GenAgent 通过将图像生成器视为可调用工具来解耦理解与生成，然后用结合点级质量和成对反思奖励的智能体 RL 端到端训练智能体。M3 编排规划器-检查器-精炼器-编辑器-验证器集成，在推理时迭代修复构图失败。coDrawAgents 在渲染前运行解释器-规划器-检查器-绘画器对话，对布局进行显式错误纠正。
智能体思想最近才到达视频生成。与我们最接近的是事件中心因果思维链（CECT）框架，它使用 LLM 推理一系列物理上合理的事件，并基于这条因果链对视频扩散模型进行条件化，直接攻击扩散将物理渲染为单个时刻而非因果进展的失败模式。我们的设置与 CECT 在三方面不同。(i) 工具而非文本。CECT 输出丰富的文本事件链；NEWTON 操纵异构工具库------关键帧生成、Python 物理计算、提示词精炼------其输出是仅靠提示无法承载的显式物理信号。(ii) 循环中的验证。CECT 一次性规划；NEWTON 通过 VideoPhy-2-AutoEval 闭合验证-纠正循环，每场景重规划最多五次迭代。(iii) 在线策略规划。CECT 依赖通用 LLM 的冻结推理，而我们的规划器在实时循环内通过 Flow-GRPO 进行在线策略训练，因此它学习何时根据已实现的验证器信号调用何种工具。这些区别共同将物理推理从提示工程移到工程化的、智能体的控制。
3. 预备知识与动机
3.1 基于扩散 Transformer 的视频生成
现代文本到视频生成器构建于扩散 Transformer（DiT）架构之上。预训练的 VAE 将视频 x ∈ R F × H × W × 3 x \in \mathbb{R}^{F \times H \times W \times 3} x∈RF×H×W×3 编码为潜变量 z ∈ R f × h × w × d z \in \mathbb{R}^{f \times h \times w \times d} z∈Rf×h×w×d，再被 patch 化为 token 并由 transformer 块处理。模型通过流匹配训练：给定噪声 ϵ \epsilon ϵ 和干净潜变量 z z z 之间的插值 z t = ( 1 − t ) ϵ + t z z_t = (1-t)\epsilon + tz zt=(1−t)ϵ+tz，它通过最小化以下目标学习速度场 u θ u_\theta uθ：
L f l o w = E t , z , ϵ ∥ u θ ( z t , t ; C ) − ( z − ϵ ) ∥ 2 2 , L_{flow} = \mathbb{E}{t,z,\epsilon} \|u\theta(z_t, t; C) - (z - \epsilon)\|_2^2, Lflow=Et,z,ϵ∥uθ(zt,t;C)−(z−ϵ)∥22,
其中 C C C 是条件上下文。在推理时，ODE 求解器从噪声（ t = 0 t=0 t=0）积分到数据（ t = 1 t=1 t=1）。
条件接口 C C C 通过交叉注意力或自适应归一化接受异构信号------来自语言编码器的文本 token 和来自视觉编码器的图像 token。这种多模态接口意味着生成器可以通过文本提示和参考图像引导，而无需架构变化。一个直接结论是：生成质量受条件质量的约束。
3.2 动机：规格瓶颈
尽管视觉保真度强，当前生成器系统性地违反物理常识。在 VideoPhy-2 上，即使最好的模型也只达到 32.6% 的联合表现（SA≥4 且 PC≥4 的视频），守恒律违规接近 40%。
文本提示是物理世界的有损压缩。根本原因是规格不足，而非容量不足。考虑"一个球从桌子边缘滚下"------这句话省略了球的质量、摩擦系数、桌子高度、初始速度和下面的表面材质，所有这些共同决定物理轨迹。如图 3 所示，生成器必须从一个句子幻觉出一组一致的参数------这是一个不适定问题，产生视觉上合理但物理上不连贯的动力学。
图3. 文本提示是对物理过程的有损压缩：同一句描述可以对应许多物理上不同的轨迹，而如果没有额外条件信息，生成器无法对这些轨迹进行消歧。
人类物理知识仍未被利用。人类花费了数千年构建结构化的物理定律------牛顿力学、守恒原理、流体动力学------只要给定相关参数就能完全决定轨迹。当前生成器反而从原始视频中隐式学习物理，类似于从未标注的影像中重新发现牛顿定律。这既是数据低效的，也根本受训练覆盖范围限制。
从渲染到规格化。这些观察提示了一种不同的策略：与其重新训练生成器，不如用物理知识丰富其条件信号。如果我们提供物理基础的关键帧、定量约束和精确的提示词，生成器现有的容量足以渲染合理的物理。剩下的挑战------为给定提示自动获取并构造正确的物理知识------激励了 NEWTON。
4. NEWTON：神经智能体世界感知工具编排导航
NEWTON 是一个可训练的智能体系统，通过用物理知识丰富冻结生成器的条件信号来改善其视频的物理合理性。它包含三个组件：决定为给定提示调用哪些物理感知工具的规划器，将这些工具与冻结视频生成器一同分发的执行器，以及对生成视频物理合理性评分的验证器。这些组件以迭代循环运行：每个周期，规划器读取先前反馈并选择工具来构建更丰富的条件，执行器产生视频，验证器评估它------将分数反馈用于重规划。只有规划器是可训练的；它通过 Flow-GRPO 在这个实时多轮循环内进行在线策略优化，而工具库、视频生成器和验证器都保持冻结。
4.1 系统流程
4.1.1 三角色架构
受先前关于智能体规划与验证工作启发，NEWTON 将视频生成分解为三个角色，如图 4 所示。
图4. NEWTON 概览。左侧：迭代式流程。用户查询和工具集初始化 Cycle-1；在每个循环中，规划器（可训练）读取记忆池，选择工具，执行器将这些工具与冻结的视频生成器一起调度执行。验证器（冻结）根据 S Δ S\Delta SΔ 和 P C PC PC 对结果进行评分，并将反馈追加到记忆中，以供下一轮循环使用。最终返回 T T T 个循环中得分最高的视频。右侧：Flow-GRPO 训练。在当前策略下采样 G G G 个并行 rollout { τ i } \{\tau_i\} {τi}；每个 rollout 都执行完整的 T T T 轮循环轨迹。组归一化优势 A i A_i Ai 仅驱动对规划器的裁剪代理目标更新。
规划器。一个视觉-语言模型（VLM）作为唯一可训练组件。在每个周期 t t t，它读取记忆状态 M t M^t Mt------原始提示、先前工具调用与输出、验证器反馈------并产生结构化动作 a t ∼ π θ ( a t ∣ q , M t ) a^t \sim \pi_\theta(a^t | q, M^t) at∼πθ(at∣q,Mt)，指定调用哪些工具及其参数。动作空间灵活：规划器可以调用任意工具子集、触发视频生成或完全跳过一个周期。
执行器。执行器通过将调用分发到三个物理感知工具（§4.1.3）和冻结视频生成器来执行规划器的动作。当触发视频生成时，生成器以累积的工具输出为条件------精炼提示作为文本，关键帧作为图像------具体机制取决于生成器的接口。该框架与生成器无关。
验证器。一个多模态评估模型对每个生成视频在两个标量维度上评分：语义附着度（SA）和物理常识（PC）。分数被附加到记忆中，闭合反馈循环。
4.1.2 迭代周期
系统运行 T T T 个固定周期，形式化为有限时域 MDP。在周期 t t t，规划器观察 M t M^t Mt，选择动作 a t a^t at，执行器产生观察 e t e^t et。记忆按以下方式确定性更新： M t + 1 = f m e m ( M t , a t , e t ) M^{t+1} = f_{mem}(M^t, a^t, e^t) Mt+1=fmem(Mt,at,et)。并非每个周期都必须产生视频------早期周期可能聚焦于计算和提示词精炼，而后期周期利用累积知识进行生成。验证器分数最高的视频在所有周期中作为最终输出返回。
记忆 M t M^t Mt 存储所有先前上下文------规划器推理、工具参数与输出、验证器分数------但不包括生成视频以保持上下文长度可控；验证器的标量分数作为充分摘要。
4.1.3 物理感知工具
三个工具针对规格瓶颈的互补维度。
关键帧生成。一个文本到图像模型在指定时间位置（例如，第一、中间和最后帧）生成引导图像。规划器为每个关键帧编写专门的提示，编码预期的物理状态（例如，"球处于抛物线弧顶点"用于中间帧）。这些关键帧施加时间边界条件，将轨迹锚定在物理上一致的状态，约束生成器的插值。
Python 计算。提供一个沙盒化的 Python 环境，用于科学计算------抛体轨迹、动量守恒计算、转动动力学。数值结果进入记忆并通知后续关键帧提示或约束规格，将 §3.2 中识别的人类物理知识具象化。
提示词精炼器。对生成提示进行自然语言精炼，用原始字幕中缺失的物理细节、材料属性或场景约束扩充。
4.2 在线流中的优化
4.2.1 为何在线
离线监督训练将规划器与实时系统动力学解耦：它从不观察自己的错误，无法从工具失败中恢复，也不会适应实际的验证器反馈。AgentFlow 表明，在专家轨迹上的 SFT 在智能体设置中相比冻结基线导致 19% 的平均准确率下降。我们改为在执行流中训练规划器，按当前策略推出整个系统并基于实际结果更新。
4.2.2 Flow-GRPO
我们采用 Flow-GRPO，一种用于具有稀疏奖励的多轮智能体的在线策略算法。它将单个轨迹级奖励广播到每个周期，将多轮信用分配转化为可处理的单轮更新。
对每个提示 q q q，我们在 π θ o l d \pi_{\theta_{old}} πθold 下采样 G G G 条平行轨迹 { τ i } i = 1 G \{\tau_i\}{i=1}^G {τi}i=1G，每条轨迹执行完整的 T T T 周期轨迹 τ i = { ( a i t , e i t ) } t = 1 T \tau_i = \{(a_i^t, e_i^t)\}{t=1}^T τi={(ait,eit)}t=1T------规划器在分配奖励之前做出所有 T T T 个决策，确保策略暴露于完整的规划时域。每条轨迹的优势是组归一化的：
A i = R ( τ i ) − mean ( { R ( τ k ) } k = 1 G ) std ( { R ( τ k ) } k = 1 G ) . A_i = \frac{R(\tau_i) - \text{mean}(\{R(\tau_k)\}{k=1}^G)}{\text{std}(\{R(\tau_k)\}{k=1}^G)}. Ai=std({R(τk)}k=1G)R(τi)−mean({R(τk)}k=1G).
策略通过裁剪的代理目标更新：
J ( θ ) = E 1 G ∑ i = 1 G 1 T ∑ t = 1 T 1 ∣ a i t ∣ ∑ j = 1 ∣ a i t ∣ min ( ρ i , j t A i , clip ( ρ i , j t , 1 − ϵ , 1 + ϵ ) A i ) − β D K L ( π θ ∥ π r e f ) , J(\theta) = \mathbb{E}\left\\frac{1}{G}\\sum_{i=1}\^G \\frac{1}{T}\\sum_{t=1}\^T \\frac{1}{\|a_i\^t\|}\\sum_{j=1}\^{\|a_i\^t\|} \\min\\left(\\rho_{i,j}\^t A_i, \\text{clip}(\\rho_{i,j}\^t, 1-\\epsilon, 1+\\epsilon)A_i\\right)\\right - \beta D_{KL}(\pi_\theta \| \pi_{ref}), J(θ)=E G1i=1∑GT1t=1∑T∣ait∣1j=1∑∣ait∣min(ρi,jtAi,clip(ρi,jt,1−ϵ,1+ϵ)Ai) −βDKL(πθ∥πref),
其中 ρ i , j t \rho_{i,j}^t ρi,jt 是 token 级重要性比， ϵ \epsilon ϵ 是裁剪参数， β \beta β 是相对于固定参考策略 π r e f \pi_{ref} πref 的 KL 惩罚权重。
4.2.3 奖励设计
复合奖励有三个组件：
R ( τ ) = R q u a l i t y + R k f + R c o m p u t e . R(\tau) = R_{quality} + R_{kf} + R_{compute}. R(τ)=Rquality+Rkf+Rcompute.
格式惩罚。任何周期中的格式或长度违规触发固定负奖励，强制基本接口契约。
质量奖励 R q u a l i t y R_{quality} Rquality。所有产生视频的周期中最大 SA 和 PC 分数的分层函数。我们引入中间层级而非二元通过/失败，奖励部分物理正确性（例如高 SA 配中等 PC，或反之），在联合高分稀少的领域致密化优势信号。
关键帧奖励 R k f R_{kf} Rkf。当周期使用新生成的关键帧进行条件化且生成视频满足语义附着度阈值时给予的固定奖励。该项独立于 R q u a l i t y R_{quality} Rquality，鼓励训练早期的关键帧探索。
计算奖励 R c o m p u t e R_{compute} Rcompute。当轨迹包含有效的物理计算（正确的函数和参数）且质量奖励为正时给予的固定奖励。这一连接防止了来自空洞计算的奖励黑客。
分层质量奖励和独立工具使用奖励一起产生密集的可达奖励值集，使有效的组归一化优势估计成为可能。
5. 实验
我们在主要物理基准（§5.2）、保留交叉基准（§5.3）和 NEWTON 引入的设计轴上的四个消融（§5.4）上评估 NEWTON。
5.1 实验设置
基准。VideoPhy-2 是我们的主要基准：590 个字幕跨 197 种物理动作，指定的 HARD 子集包含 180 个针对守恒律、多物体碰撞和铰接动力学的字幕。每个视频在语义附着度（SA）和物理常识（PC）上评分；我们报告通过 PC≥4（PC）、SA≥4（SA）和两者都满足（Joint）的百分比。PhyGenBench 提供跨力学、光学、热和材料的 160 个提示，由其官方 VLM 评判协议在 0,1 上评分。
基线。(i) 强文本到视频生成器：Wan2.2-TI2V-5B、Cosmos-Predict2.5、HunyuanVideo、CogVideoX-5B 和 LTX-Video-2B。(ii) 在 LTX-Video-2B 之上的物理增强生成器：VideoREPA 和 WISA，都在 LTX-Video-2B 上重新实现。
实现。规划器（Qwen3.5-9B）是唯一可训练模块；视频生成器（除非另说为 LTX-Video-2B）和 VideoPhy-2-AutoEval 验证器保持冻结。我们在 3,350 个提示的 VideoPhy-2 训练划分上用 Flow-GRPO 优化一个轮次： G = 8 G=8 G=8 条推出， T = 5 T=5 T=5 个周期， ϵ = 0.2 \epsilon=0.2 ϵ=0.2， β = 0.01 \beta=0.01 β=0.01，熵系数 0.005，学习率 5 × 10 − 7 5 \times 10^{-7} 5×10−7，训练批 4 / PPO 小批 32 / 每 GPU 微批 8，使用 8 块 NVIDIA H200 GPU。