启元 PrimeSim 如何用生成视频评估机器人策略
PrimeSim 论文展示过一组把瓶子装进纸箱的生成画面。机械臂靠近传送带，抓取瓶子，再把它送向箱子。从抓取到装箱，画面连成了一次完整操作。
如果开发者想用这样的模型挑选机器人策略，问题就变了。一条顺利结束的视频，怎样变成某个策略的成功率？换一套控制程序，生成的环境能否保留两者的强弱差别？
启元 PrimeBot Research 的 PrimeSim 正在尝试回答这个问题。它以视频生成模型为起点，接收机器人动作，预测后续的多视角画面。论文里最值得细看的实验，是同一批策略先后进入 PrimeSim 和 LIBERO 物理仿真器，比较它们的表现。作者用这些生成画面评价策略，再与物理仿真结果对照。
一、画面合理，离策略评估还差什么
先看动作从哪里来。
在论文的 EWMBench 评测中，模型拿到初始画面、任务描述和已经记录好的动作轨迹，随后生成未来视频。动作序列在生成之前已经给定。模型根据动作生成机械臂的运动及周围物体的反应，评价者再与参考视频比较。
这种安排适合观察模型怎样理解一串动作。夹爪移动以后，手腕镜头怎样转动；手臂靠近物体时，物体怎样变化，都能放在同一条轨迹里检查。即使视频中途出现偏差，后面输入的动作仍然沿用给定轨迹，不会因为模型生成了一个不同的场景就自动改写。
策略评估需要另一种关系。策略读取当前观察，输出下一段动作，环境执行后返回新画面，策略再据此决定接下来做什么。进入 PrimeSim 后，环境返回的是生成画面，下一轮动作却会受它影响。
这就是开环生成与闭环决策的区别。前一种安排检查既有动作的视觉后果，后一种安排把生成结果送回控制过程。原来只在视频里出现的一点偏差，现在可能改变下一次抓取的位置，甚至让策略选择另一种动作。
图 1 开环生成与闭环交互（本文概念图）。
论文中的策略是 OpenVLA-OFT。它从主相机观察预测一个包含 8 步动作的片段。世界模型根据这些动作生成后续观察，策略继续读取画面，控制过程便能向前推进。这里的基本单位已经是一连串互相影响的观察和动作。
这种反馈关系提高了对生成环境的要求。假如画面把物体画得离夹爪更近，策略可能提早闭合夹爪；假如一个物体的位置在连续画面中漂移，策略之后接近的目标也会随之改变。画面中的偏差一旦进入策略输入，就可能改变下一段动作。
只选顺利完成的生成样例，恰好会漏掉策略评估关心的部分。机器人接近物体、物体随之移动，画面很容易显得顺畅。控制程序需要的环境则要忠实保留动作造成的后果，动作偏了，场景也应出现相应变化。只有这样，不同策略的差别才有机会留在结果里。
因此，读 PrimeSim 的实验时，需要把两件事放在一起看。它能否沿给定动作生成连贯画面，以及策略依据这些画面行动后，表现是否仍然接近参考环境。前者帮助解释模型，后者才直接关系到这套环境能否用来选策略。
二、输入的动作如何约束生成画面
策略输出的动作，首先要能成为生成过程的约束。
PrimeSim 的起点是 Wan2.2-TI2V-5B。预训练视频模型已经接触过物体外观、材质和短时间运动，启元随后使用覆盖 22 个平台、共 30110 小时的机器人演示，把动作条件与多视角生成加入其中。视频预训练提供外观与运动经验，后续训练再建立动作和画面之间的对应。自然视频里的手臂运动可以合乎视觉习惯，控制程序给出的具体位姿却需要逐次落实，两者之间还隔着一套机器人动作表示。
PrimeSim 将不同平台的数据组织到统一的 31 维动作表示里。双臂末端位姿、夹爪状态、头部和躯干等部件，以及底盘速度，各有相应位置。缺少部件的对应槽位置零，输入仍保持 31 维。这样，单臂、双臂和带轮式底盘的平台能够共用一个输入组织方式，不必为每一种外形重新定义整个模型接口。
这套表示的取舍也很具体。手臂主要用末端位姿表达，输入由此直接描述末端在操作空间里的几何变化；身体部件可以用关节量表达，底盘则保留平面速度。统一的是数据怎样进入模型，各个平台原本的运动学关系仍然存在。共用输入格式后，模型仍要学习不同身体对动作的响应。
作者在中训练阶段还采用了相对动作块。每个窗口以自己的首帧状态为参考，描述后续姿态相对于这个起点怎样变化。机械臂在不同工作台旁的绝对位置可能不同，一段相对移动却可以有相近的几何含义。模型由此更容易把注意力放到当前动作带来的变化上。
这里要保留参考姿态的朝向。平移和旋转都应相对于相应的参考状态表达，不能把全部动作通道都理解成数值直接相减。夹爪开合和底盘速度也有各自的表示约定。相对动作首先要回答的，就是"相对哪个起点发生变化"。
和"每一步相对前一步移动多少"相比，窗口首帧提供的是一段动作共同使用的参照。前一种表示强调相邻两步的变化，后一种让窗口内各时刻都能对应回同一个起点。它们描述的可以是同一段运动，交给模型的数值关系却不同。论文因此把前帧增量也列为对照，检验固定参照是否真的有助于生成，没有仅凭坐标表达更整齐就认定它更好。
论文表 9 比较了三种动作表示。在相同的单平台设置中，绝对动作、相邻帧增量和窗口首帧锚定的相对动作块，PSNR 分别为 22.23、21.34 和 24.56 dB。PSNR 比较生成画面与参考画面的重建相似程度，这里的差异反映了表示方式对这项重建任务的影响。它还需要与动作行为的检验接起来看。
动作被组织好以后，还得在生成过程中发挥作用。图 2 右侧给出了 PrimeSim 的两条动作条件路径。
图 2 架构与动作条件局部（论文图 4）。
上方的小方格图规定了画面表示可以关注哪一段动作。初始条件帧已经给定，后续的潜变量帧则关注与自己对应的动作信息。时间位置不相关的动作不会被一股脑混进来，模型更容易区分眼前这段变化由哪一段输入驱动。
这里画的是压缩后的潜变量时间轴。视频编码器会压缩时间，代码中把 4 个动作步组合成一个相应的动作输入，再与潜变量帧对应。因而，图上的一个格子不能直接读成一张原始 RGB 图片。把这层区别保留下来，才能正确理解逐帧条件的含义。
下方的适配路径进一步将动作特征接入帧表示。注意力路径规定信息之间的对应关系，适配路径则让动作信息有一条直接影响表示的通道。两者结合，既明确动作与帧的对应，也加强动作特征对生成的影响。
论文表 10 进一步比较了两条条件路径。两条条件路径结合时，改进方案的 PSNR 为 24.56，常规组合为 23.31。这是在特定数据与训练设置下的重建结果，可以帮助理解模块的贡献；动作能否保留不同控制方式的差异，还要看受控的行为实验。
论文图 10 给出了反事实动作下的生成示例。输入的动作偏离记录中的演示轨迹，模型需要依据这些动作接续画面，不能只延续原来那次演示。
| 生成示例 | 第 1 个采样时刻 | 第 7 个采样时刻 |
|---|---|---|
| 图 10(a) |  |
 |
| 图 10(b) |  |
 |
图 3 论文报告的反事实生成示例（原图 10）。
这两行可以帮助辨认生成的运动与场景，但图中没有把输入动作轨迹叠出来。它们承担的是定性展示，动作响应的量化检验来自 WorldSimProbe。
这个基准会主动改变动作条件，再观察生成结果怎样响应。例如，在仍能完成任务的轨迹上施加大小不同的局部扰动，检查响应尺度是否跟参考仿真器一致；也会构造经过验证的无接触场景，看模型是否仍让物体发生了不该出现的交互。任务最后成功，并不足以代替中途这些对应关系。
| WorldSimProbe 在 LIBERO 上的诊断 | PrimeSim | 该表最高值 |
|---|---|---|
| 局部动作校准 | 70.2 | 77.0，LingBot-VA |
| 全局轨迹覆盖 | 67.9 | 67.9，PrimeSim |
| 动作来源行为保留 | 72.3 | 72.3，PrimeSim |
| 交互依据 | 85.7 | 85.7，PrimeSim |
| 交互动态 | 37.1 | 37.1，PrimeSim |
表 1 论文表 1 的五类诊断分数，量表为 0 至 100。
这些分数让动作跟随有了更细的含义。PrimeSim 在这组比较中四项领先，局部动作校准仍低于最高值。它对不同轨迹和动作来源的响应已有一定证据，精细的局部变化则仍是需要继续改善的部分。把这两种尺度分开，才不会用一次完整操作的顺利结束覆盖中途的偏差。
三、同一次操作如何跨镜头、跨时间延续
动作给定以后，机器人也会从不同位置看见同一次变化。
头部相机通常能覆盖较大的操作区域，腕部相机靠近末端，手臂稍一移动，镜头里的构图就可能明显改变。如果三段视频各自生成，同一件物体的位置和一次抓取的进度就可能互相对不上。策略之后接触到哪一幅观察，也会影响它对当前任务状态的理解。
PrimeSim 将三个视角联合生成。图 4 的上、中、下三行分别对应头部、左腕和右腕，同一列来自同一个采样位置。完整图保留时间关系，下面的局部把首末位置放到一起，方便对照各相机怎样看见手臂的变化。
| 相机 | 第 1 个采样时刻 | 第 7 个采样时刻 |
|---|---|---|
| 头部 |  |
 |
| 左腕 |  |
 |
| 右腕 |  |
 |
图 4 三视角生成序列及局部（论文图 11）。
模型在表示里加入视角身份信息，使来自头部和腕部的内容能够被区分。注意力又在视角内和跨视角之间交替，在保留各视角时空关系的同时，定期交换跨视角信息。相机之间共享的是同一场景的生成过程，各自的取景方向仍然需要保留。
论文表 11 的三视角消融从简单拼接开始，加入视角身份后再加入视角内注意力组织，PSNR 从 16.30 提升到 23.78，再到 24.56。这个实验说明，单纯把多个相机的图像堆在一起，与在模型里明确组织视角关系，会得到不同的重建效果。
三视角生成也不意味着后面的策略实验同时使用三个相机。第 4.4 节的 OpenVLA-OFT 从主相机读取观察，多视角部分解释的是世界模型怎样生成观察，策略评估的输入则按它自己的协议设置。两者在系统中各有位置。
三个镜头对应上以后，还得把同一次操作继续生成下去。上一段画面已经交给策略，后面的动作才会产生，世界模型必须顺着这个次序运行。
中训练模型可以在固定窗口内联合预测未来画面。为了支持连续交互，论文先把注意力改成分块因果形式。一块内部仍可联合处理，跨块只能访问已经出现的历史，后面的画面不能提前参与前面一块的计算。这样，模型便能先生成一段观察，等策略给出新动作，再往后接续。
最初的因果适配使用干净的参考历史，也就是 teacher forcing。模型学习的是，在前面的画面正确时，怎样生成下一块。但真正连续运行时，输入历史会逐渐换成它自己的预测。某个物体的形状、位置或遮挡关系稍有偏离，下一段就得从这个状态接着生成，训练与运行面对的条件由此产生差别。
要让模型在自己的历史上练习，先得负担得起反复生成的计算。原先的因果模型每块需要 50 步去噪，论文随后把它蒸馏为 4 步采样的学生模型。冻结的因果教师模型提供生成轨迹中的局部变化作为学习目标，让学生模型以较少采样步骤接近教师模型的生成结果。少步采样降低了连续展开的开销，为后面的训练留出空间。
这里的四步描述生成器内部的采样计算。它与第一节策略预测的 8 步动作块各有含义，减少去噪次数也不直接等于完整控制系统按相同比例提速。蒸馏解决了计算负担，前面提到的历史误差还得专门训练。
接着进行的片段自展开，让学生模型把刚刚生成的潜变量留作历史，用它们继续生成下一块，不再每次都拿干净画面纠正起点。这一阶段改用冻结的中训练双向模型提供分布监督，让学生模型在接触自身预测的条件下保持生成质量。这样，模型开始面对将来连续运行时会出现的输入，训练对象也从一块画面延伸到了几块相接的结果。
固定长度片段仍然有限。一个回合还没结束，模型可能已经连续生成很多段，早先的偏差也可能持续影响后面。下一阶段因此把自展开训练延长到整个回合，让缓存跨窗口保留，直到新回合开始才重置。训练沿着同一次操作继续，模型才能接触只在长时间接续以后变明显的误差。
论文表 7 先检验这一步。在 10 条留出的 RoboTwin 2.0 回合上，固定片段自展开模型的平均 PSNR 为 12.572 dB，整回合适配后为 18.709 dB；首末窗口的 PSNR 下降从 18.305 dB 收窄到 8.427 dB。这里整回合模型使用的是滚动缓存 3+18，训练范围扩大后的改善有了单独的对照。
长回合还留下另一个实际选择。过去的内容越来越多，缓存容量却有上限。连续保留最近的信息，可以维持眼前动作的细节；一直只留最近的信息，较早出现的场景状态又会退出缓存。论文于是进一步安排了层级缓存。
图 5 层级记忆分工（本文概念图）。
全局部分保留初始参照，较早的历史稀疏保存，近期历史连续保留。图中 3+9+9 的容量分配，让下一段生成能同时接触起始场景和最近变化。初始参照池的容量不等于拍到了同样数量的真实首帧，除最初观测外，这些历史都来自模型生成。
每个生成窗口结束后，旧的近期信息会与已有的较早历史合并，再稀疏采样到固定容量，新生成的内容则进入近期区域。稀疏保留时仍记录原来的时间位置，三个相机也使用一致的采样索引。同一时刻的头部与腕部画面由此继续对应，模型也能区分较早的场景状态和最近的动作。
动作的参考点也要随着长回合固定下来。第二节所说的窗口首帧，属于中训练阶段的相对动作块；长回合阶段改用回合起点记录的姿态，不随每一段继续生成就重新归零。缓存决定模型还能接触哪些过去，回合参考决定动作数值相对于哪里表达，两者共同维持分段生成之间的联系。
表 8 在前面的长回合评估协议下继续比较缓存组织。10 条生成序列各含 610 至 1046 帧，按 10 FPS 的视频时间计，对应约 61 至 104.6 秒。只有最初的 RGB 画面来自参考观测，后续持续依赖生成历史。两种方案都只分配 21 个潜变量时间槽，因此可以集中观察历史如何分组带来的差别。
| 同为 21 槽的缓存方案 | 全程平均 PSNR | 首末窗口 PSNR 下降 |
|---|---|---|
| 滚动缓存 3+18 | 18.709 dB | 8.427 dB |
| 层级缓存 3+9+9 | 19.519 dB | 6.008 dB |
表 2 论文表 8 的同预算对照，平均值越高越好，下降值越低越好。
全程平均值与首末变化要一起看。只看下降多少，可能忽略整段画面本来就不够接近参考；只看平均值，又容易掩盖后段的退化。层级缓存的平均质量更高，首末下降也更小，支持在相同容量下区分较早与近期历史的价值。
表 7 比较训练范围，表 8 比较历史组织，分别支持整回合自展开与层级缓存的作用。接下来还要把策略放进这个环境，检验生成画面是否足以支持有参考价值的比较。
四、八种策略，能否排出相同的强弱次序
比较成功率之前，先看两边怎样判定任务完成。
LIBERO 物理仿真器使用内部状态上的任务判据。PrimeSim 一侧则接入在 LIBERO-Spatial 图像上微调的 ResNet 二分类器，一个回合中只要有任意一帧被判为成功，奖励就记为 1，否则为 0。这条规则记录的是回合中是否出现过被识别为完成的状态，没有额外设置末帧保持或连续若干帧确认条件。两边依据的信息不同，最后的成功率是否接近，要由对照实验回答。
研究者选了 8 个能力明显不同的 OpenVLA-OFT 策略，它们在 LIBERO-Spatial 上的成功率从 29.3% 到 85.0%。每个策略都从相同的 300 个初始状态出发，覆盖 10 项任务，每项任务 30 次，使用贪心动作，分别在 LIBERO 和世界模型中闭环运行。统一试题和起点，可以减少任务难度差异对比较的干扰。
图 6 的每一个点，是一种策略在一批回合中的汇总成绩。横纵坐标分别记录它在两个环境中的表现。
图 6 世界模型与 LIBERO 的策略成功率（论文图 9a）。
横轴是世界模型给出的成功率，纵轴是 LIBERO 的成功率，两轴都从 0 到 1，对应 0% 到 100%。虚线表示两者相等。点落在虚线上方，世界模型就估低了该策略；落在下方，则表示模型里的成绩高于参考仿真结果。
先看蓝点的排列。随着 LIBERO 中的策略成绩提高，PrimeSim 中的成绩也依次上升。作者报告 Spearman 排序相关系数为 1.00，这 8 个策略在两边得到的强弱次序一致。开发者从候选中挑选较好的策略，首先关心的就是这种顺序能否保留。
再看数值位置。把所有策略分数统一压低，仍可能保住原来的排序，却会让成功率估计整体偏移。论文因此同时报告 Pearson 相关系数与绝对差。PrimeSim 的 Pearson 系数为 0.99，平均绝对差为 2.8 个百分点，单个策略的最大差为 7.0 个百分点。前一个数字描述线性关系，后两个数字交代平均和最远相隔多少，排序与数值接近程度便都有了依据。
图中橙色方点来自同样在 LIBERO-Spatial 上微调的 Wan2.2-FT。它也保留了总体上升趋势，Pearson 系数为 0.91；部分策略的次序发生变化，Spearman 系数为 0.90，平均绝对差为 8.3 个百分点。同样是生成未来画面，进入策略评估以后，两套环境提供的信息已经出现了差别。
较强策略一端尤其值得看。三个参考成功率分别为 79.0%、82.0% 和 85.0% 的策略，被该基线分别低估了 12.0、12.7 和 18.3 个百分点。这样的偏差会影响开发者判断训练进展。一个候选已经在参考环境中表现较好，生成环境给出的分数却偏低，继续优化和挑选检查点时，就可能依据不够准确的反馈作决定。
因此，这组实验对 PrimeSim 的支持很具体。在这些任务和起点上，它保留了候选的强弱顺序，成功率数值也较接近 LIBERO。排序、趋势和绝对差分别回答不同问题，单独拿出一个很高的相关系数，还不足以交代整项评估的用途。
这种结论对应的是八种能力跨度较大的策略和一套任务。若接下来要区分差距很小的训练检查点，仍需要更密集的候选对照；若要诊断某个回合为什么失败，也得回到具体任务和动作记录。总成功率相近并不要求每个起点都得到相同结果，汇总图适合比较整体表现，局部诊断需要更细的观察。
固定策略已经接受了这项检验。下一步让策略真的在生成环境里学习，分数推动出来的改善还能不能带回 LIBERO？
五、在生成环境中训练，收益能否带回物理仿真
训练会改变策略，也会改变它与生成环境的交互。
固定策略只是在环境里接受评价，后训练则会主动寻找得分更高的行为。如果生成环境提供的反馈能帮助策略改善操作，训练后的收益应当在另一个环境里继续出现。外部复评由此成为这组实验的关键。
作者从监督微调得到的策略出发，在 PrimeSim 中进行 200 步 GRPO 后训练，组大小为 8。策略与生成环境闭环交互，成功分类器继续按回合给出二值奖励，优化过程利用同组候选的相对表现更新策略。
这一阶段不查询 LIBERO 物理仿真器。动作之后会发生什么，由 PrimeSim 接续；任务完成与否，由视觉分类器给分。LIBERO 留到训练后，检查更新的策略是否真的比原来更强。
生成速度在这里具有实际作用。只展示一条短视频时，等待几次采样可能尚能接受；策略学习需要反复产生回合，环境生成的代价会持续积累。少步生成降低反复采样的计算开销，自身展开训练缓解使用生成历史时的误差累积。
论文第 4.1.3 节及表 3 给出了对应测试条件。单张 A100 80GB，BF16、批量为 1，在 RoboTwin 2.0 的 Stage 3 设置下，每视角分辨率为 288×384，33 帧窗口中有 32 帧可用，使用四步采样。测得的稳态吞吐约为每秒 10.12 个时间步，三个视角合计约 30.35 个视角帧。
这里按同一时刻的三幅画面分别计数，所以视角帧吞吐约为时间步吞吐的三倍。它测量世界模型生成块的速度，不含策略组成的完整控制回路。前述 WorldSimProbe 与 EWMBench 质量评测使用的是每视角 192×256，分辨率与本表不同，不能把质量分数和这组吞吐拼成同一设置下的表现。
后训练的结果，则要看 LIBERO 中的复评。
图 7 模型内后训练前后的成功率（论文图 9b）。
先看实心柱。它们来自 LIBERO 物理仿真器，训练前成功率为 61.7%，训练后为 73.2%，提高了 11.5 个百分点。策略的改善离开了生成环境，仍然能在参考仿真器里体现出来。
再看斜线柱。PrimeSim 中对应的成功率由 60.1% 升到 71.9%，提高 11.8 个百分点。训练前两边相差 1.6 个百分点，训练后相差 1.3 个百分点。模型里的进展与外部复评保持接近，比只报告训练环境中的高分更能说明结果。
这两组数字也解释了为什么论文把策略排序与策略后训练分成两项实验。第一项冻结策略，检查环境怎样评价已有差别；第二项让策略发生变化，再检查改善是否能带出去。一个环境在固定候选上给分接近，并不能自动代替后一项检验。
200 步是更新预算，不能当成机器人只练了 200 次动作或只完成了 200 个回合。作者将这项实验定位为短预算下的可行性展示，目的在于看模型内闭环优化能否起作用。继续延长训练是否还能获得收益，需要另作实验。
图中的任务成功仍来自前面那套判据，因而评分器的可靠性不会因为策略开始学习就变得无关。训练越积极地寻找高分行为，越需要把结果放回独立环境复评。图 7 中的物理仿真评估，正是在训练奖励之外再检查一次策略。
对机器人开发者而言，PrimeSim 论文给出的价值正在这里变得具体。可以先用相同任务和起点检查候选排序，再把模型内获得的改善带回参考环境。数据采集、动作表示和相机设置仍需要与目标平台对应，生成环境的用途也应随着外部对照逐步建立。
论文第 6 节把实体平台上的闭环验证留作后续工作。真实机器人面对的摩擦、遮挡和接触变化，会怎样影响模型中的策略排序与训练收益，还要由真实平台的结果回答。当前这两组实验支持的是仿真环境中的策略评估与后训练。
关于启元机器人开放资料与开发交流，可继续关注启元机器人开发者社区。