记忆该记「赔率跳变」:机器人长时程十连任务,事件记忆 88.0%,删掉失败记录只剩 1.7%

一台机械臂停在 home 位,旁边是一个按钮。此刻相机拍到的画面,在三种情况下几乎完全一样:还没试过按、按了一次但失败了、按成功了。可这三种情况需要的动作完全不同------去按、换一种策略重试、直接进入下一个子任务。画面里没有答案,因为差异全部藏在「之前发生过什么」里。

论文给这种「观测相同、正确动作不同」的歧义起了个名字,叫 decision aliasing,决策别名。反应式策略(包括现在这批以 VLA 为代表的机器人基础模型)只吃当前观测和语言指令:输入一样时,它没有任何办法区分「没试过」「试过、失败了」「已经成功」。要消掉这个歧义,策略必须维护自己的执行历史。

最直接的做法是把整段观测历史塞进上下文,代价是上下文随步数线性增长,而且绝大多数帧对决策毫无信息量。近年的折中是「事件记忆」:用感知、语义或运动学线索挑出关键帧,压成紧凑记忆。论文的批评很直接------这些线索挑出来的事件,未必是影响任务成败的事件。手臂一次大幅摆动很容易被检测到,但它不改变机器人下一步该做什么;一次失败的接触可能在画面上不留任何痕迹,却要求你换一种重试策略。

于是作者换了一条判据:不要检测「变化」,要检测「赔率的变化」。他们提出以结果为锚的原则------记住那些显著改变「最终成功率预测」的事件,方法叫 CGEM(Critic-Gated Event Memory,critic 门控的事件记忆)。数字先摆出来:在一个 10 个子任务的诊断环境里,CGEM 成功率 88.0%,36 步观测窗口和运动学事件记忆都是 0.0%;把失败记录删掉,只剩 1.7%。

但有一句话必须放在最前面:这 88.0% 是在一个成功概率可以精确计算的合成环境里、用表格化行为克隆跑出来的诊断结果。论文对 π0.5 的集成是「提出的架构」,不是已完成的实验;真机上只验证了一件事------学出来的 critic 能不能当失败事件检测器。这篇论文的价值在机制和判据,不在某个可以直接抄去部署的 checkpoint。

一分钟速览

  • 问题:长时程操作里,同一帧画面可能对应「没试过」「失败了」「已完成」三种处境,反应式策略无法区分,论文称之为决策别名。
  • 旧办法的漏洞:按感知、语义或运动学线索挑事件,挑到的是「看起来变了」,不是「成功率变了」;大幅手臂运动会被记住,失败的接触会被漏掉。
  • 新判据:用 critic 预测的最终成功率 V 的变化量当事件分数,变化超过阈值 δ 才写一条记忆,正变化记成进度,负变化记成失败。
  • 三条规则:写(κ ≥ δ,带不应期)、记(符号加子任务加尝试过的策略)、删(子任务完成就清掉该子任务的失败记录,超容量按 FIFO 淘汰)。
  • 关键数字:10 个子任务时 CGEM 88.0%,36 步观测窗口 0.0%、运动学记忆 0.0%、均匀关键帧 0.0%;去掉失败记录 1.7%,去掉清理 47.7%,去掉力信息 14.2%。
  • 理论上界:成功率预测的平方变化总量不超过 1/4,所以超过固定阈值的事件个数与任务长度无关;不看失败记录时成功率上限是 ρ^N。
  • 真机验证的只是检测器:双机械臂充电任务、87 条测试 episode、42 个可恢复失败窗口,最好的 critic(IQL Mode 7)AUROC 0.86,76% 召回对应每分钟 0.12 次误报。

决策别名:同一帧画面,三种正确的下一步

ASC 把「别名」做成了一个可测量的环境

论文没有一上来就上真机,而是先造了一个把别名放到极致的诊断环境,叫 ASC(Aliased Stage Chain)。场景只有三个工位,类型分别是 P、G、G,也就是一个按压工位和两个抓取放置工位。任务计划是序列 (1, 2, 1, 3, 2, 1, 3, 1, 2, 3) 的长度 N 前缀------工位会重复访问,所以「走到第几个了」必须靠计数,不能靠画面。

每一次尝试分四个阶段。第一段在 home 位选工位,选错就是不可恢复的顺序错误。第二段出站,走 L 等于 6 步,每步有 0.2 的概率卡住,到达后选一个变体。第三段交互,持续 D 等于 3 步,如果变体等于该子任务隐藏的正确策略 b_i,就以 1 减 q 的概率成功(q 等于 0.1),否则失败。第四段回程,再走 6 步回到 home。总时间上限是 40N 步。

这个设计的狠处在于:每次尝试结束后,机器人都会回到一个像素级完全相同的 home 观测。也就是说,当前画面里既不含「这是第几次尝试」,也不含「上一次是成是败」。论文画了一条参考轨迹的赔率曲线(本文图 2)------同一个 home 位,V 值分别是 0.87、0.86、0.83,画面一模一样,赔率却不同。

为什么「多给几百帧」不解决问题

直觉上,把观测窗口从 12 步加到 36 步,应该能覆盖更多历史。实验结果是:N 等于 6 时,36 步窗口还有 60.0% 的成功率;N 等于 10 时直接掉到 0.0%,阶段完成度也只有 44.6%。12 步窗口在 N 等于 6 时就已经是 0.0%。

原因不复杂。别名要求的不是「看到更多帧」,而是「从历史里数出正确的状态」:这个工位我试过几次、每次用的哪个变体、哪次成功了。窗口截断之后这些计数信息直接消失;窗口够长时,模型还得自己学会去数------而表格化行为克隆拿到的输入是固定长度的键,它没有「数」这个操作。观测窗口本质上是在赌「关键证据刚好落在最近若干帧内」,长时程任务里这个赌注必输。

均匀关键帧更糟:N 等于 6 和 N 等于 10 都是 0.0%,阶段完成度只有 16.9% 和 10.2%。按固定间隔采样,采样点与「结果发生的那一刻」几乎不可能对齐,而结果恰恰只在那一瞬间可见。

论文把记忆拆成三个必须回答的问题

形式化之后,问题是这样的:策略 π(a_t | o_t, m_t, l) 只允许看当前观测 o_t、语言指令 l,以及一个最多存 K 条记录的事件记忆 m_t。目标是让这个策略复现「知道全部历史的专家」的决策。这要求:历史不同、专家动作不同的那些情况,在策略的输入里必须保持可区分。

于是记忆规则必须回答三件事:什么时候写(用 critic 变化挑事件)、写什么(事件的结果,以及它属于哪个子任务或哪种策略)、什么时候删(哪些记录对后续决策已经没用了)。所有更新只能用当前步可得的信息,并且始终保持记录数不超过 K。这三个问题,正好对应论文的第三节(理论)和第四节(方法)。

记什么:一次「赔率跳变」才算事件

把「有用」写成一个可测的量

论文的关键一步,是把「这条记忆有没有用」翻译成一个可以算的量。定义 V_t 为「在历史 h_t 之下,最终任务成功的概率」,它是对一个固定参考策略 π 取的期望;critic 用数据学出来的估计记作 V̂_t。每一步的分数就是估计值的变化量:

ΔV^t=V^t+1−V^t \hat{\Delta V}t = \hat{V}{t+1} - \hat{V}_t ΔV^t=V^t+1−V^t

κ^t=∣ΔV^t∣ \hat{\kappa}_t = \left| \hat{\Delta V}_t \right| κ^t= ΔV^t

分数大,说明这一步给机器人提供了关于「最终能不能成」的新信息。这个定义的高明之处在于它「以结果为锚」:不是画面变了、不是机械臂动了、也不是语义上新出现了某个物体,而是「我估计的成功概率变了」。一次大幅但无关的移动,V 几乎不动;一次画面上看不出来的失败接触,V 会掉一大截。

符号同样重要。正的变化记成进度记录,负的变化记成失败记录。这两类记录在策略侧触发的是完全相反的行为:看到进度记录就前进到下一个子任务,看到失败记录就换一种策略重试。

候选事件有三个来源,力是压舱石

只靠 critic 打分在实践中不够稳,所以论文的候选集来自三路,三路都送进同一个门------变化量超过阈值才写:

  • critic 分数的峰值:V̂ 在相邻两步之间出现显著跳变,说明「赔率」刚被更新。
  • 力/力矩的变点:用 BOCPD(贝叶斯在线变点检测)在力信号上找分布突变,对应接触的发生与结果。
  • 夹爪状态跳变:开合切换本身是一个廉价且可靠的接触事件标记。

力这一路不是凑数的。ASC 里按压工位的成功与失败,在图像上几乎无差别,只能靠力分开:成功时力学读数服从均值 2.5、标准差 0.3 的正态,失败时是均值 1.2、标准差 0.3。抓取工位则相反,成功是均值 0.9、标准差 0.2 加上夹爪张开和「placed」视觉线索,失败是均值 0.05、标准差 0.1 加上夹爪张开和「dropped」。力被离散成 5 个 bin 之后,才成为 critic 能用的特征。

消融数字说明了这一路的份量:去掉力信息,N 等于 10 时成功率从 88.0% 掉到 14.2%,而写入步骤保留的平方价值变化份额(原文记作 E-rec)几乎没变(都是 85.8%)------也就是说,事件挑得没错,但「这次是成还是败」这个符号判错了,符号准确率从 99.3% 掉到 68.3%。记忆挑对了时刻,却写错了内容,等于没记。

记的是带符号的结果,不是一段视频

一条记录里至少要有三样东西:

  • 位置:发生在哪个子任务,ASC 里就是工位编号。
  • 符号:这一步的结果是进度还是失败,它是唯一决定「前进还是重试」的位。
  • 策略:这次尝试用的是哪种变体,它决定「重试时要不要换招」。

前两样决定「该不该前进」,第三样决定「怎么重试」。图 2 里 t 等于 100 时,记忆里躺着三条失败记录 P1×A、P1×B、P1×A,正是这三条让机器人在 t 等于 105 换成了变体 B。

论文提出的 VLA 表示更细一点:事件帧过 SigLIP 得到 token,再拼上符号和子任务/动作元数据。也就是说,记忆不是一段压缩视频,而是「一张关键帧 + 一句结构化标注」。这个选择很工程化------它让记忆的条目数可控,也让读取侧可以用交叉注意力直接吃 token。

图 1|上半部分是同一种 home 观测下的三种处境------未尝试就按 A、失败过 A 就换 B、已完成就前进;下半部分是 CGEM 结构:critic 与事件门控决定写入,事件记忆最多存 K 条,critic 和 π0.5 策略都从这块记忆里读。

三条规则:何时写、写什么、何时删

何时写:一个阈值加一段不应期

写入判据就一行:变化量超过阈值 δ 就写。ASC 里取 delta 等于 0.01,并加了一个 2 步的不应期,避免同一个结果在相邻几步里被重复写入。

这两个超参的取值方式值得留意,也是这篇论文比较薄的地方:δ 没有给通用选法,只在诊断环境里定了一个数。理论上界(后面会讲)只保证「固定阈值下事件数不随任务长度增长」,并不告诉你阈值该定多少。如果 δ 定得太松,写入会退化成「每步都写」,记忆很快被填满;定得太紧,真正的结果事件会被漏掉,策略就退回到无记忆状态。

写什么:进度记录与失败记录分开放

ASC 里的记录是三元组:工位、符号、自己用过的变体。失败记录必须带上「试过什么」,否则重试时只能瞎猜;进度记录则标记某个子任务已经完成。两类记录在容量 K 里共享空间,所以「谁该被先淘汰」是个真问题。

何时删:子任务完成就清失败记录

清理规则只有一条,但它是全篇最值钱的一条:一旦某个子任务被确认完成,它名下的所有失败记录立刻删除。如果清完之后还是超容量,就按先进先出淘汰最旧的一条。

这条规则的效果非常直观。N 等于 10 时,不做清理是 47.7%,做了清理是 88.0%------40.3 个百分点的差距,全部来自「该忘的忘了」。原因也不难想:失败记录的作用域只到「这个子任务成功为止」,之后它不但没用,还会污染后续判断,并且占掉本可以留给后面子任务的容量。

怎么读进策略:门控交叉注意力

读取侧是一个带门控的交叉注意力:X 更新为 X 加上 σ(g) 乘上注意力输出 X′,其中 g 是一个学出来的门。门的作用是让策略自己决定「这一步要不要看记忆、看多少」,而不是无条件地把记忆拼进上下文。critic 也读同一块记忆,这样它在估计成功率时能考虑到之前发生过的事件。

论文没有给出门控的消融(把 g 固定成常数或去掉会怎样),这是读这篇论文时值得记一笔的空白。

text 复制代码
仅示意:非原文代码,按 Sec. 4 与附录 B 整理
输入:o_t、l、阈值 delta、容量 K、不应期 r
1  V_prev = critic(o_t, m_t, l)
2  执行动作块,观察结果,得到 o_{t+1}
3  V_next = critic(o_{t+1}, m_t, l)
4  kappa  = |V_next - V_prev|
5  if 不应期 or kappa < delta:
6      return m_t
7  sign = +1 if V_next > V_prev else -1
8  record = (子任务、sign、试过的策略)
9  if sign == +1: 清掉该子任务的失败记录
10 m_t = m_t + record
11 if |m_t| > K: 淘汰最旧的一条
12 return m_t

这条伪代码里只有第 5 行和第 9 行是「设计」,其余都是记账。整篇论文的方法复杂度也就这个量级------它不是一个新网络,而是一条新的记账规则。

记忆准则 写入触发 记什么 已知失效方式
观测窗口 固定最近 12 或 36 步 原始观测帧 关键结果滑出窗口即丢失,N 等于 10 时归零
均匀关键帧 固定间隔采样 原始观测帧 采样点与结果时刻不对齐,N 等于 6 与 10 都是 0.0%
运动学事件 夹爪与视觉线索 关键帧 大幅无关运动被记住,无痕失败被漏掉
启发式并集 夹爪跳变与力事件并集,不分符号 事件帧 分不清进度与失败,N 等于 10 时 0.9%
结果锚定(本文) critic 预测的成功率变化超过 δ 符号加子任务加策略 依赖 critic 校准;符号判错时反而有害

图 2|一条参考策略轨迹上的赔率曲线:同一个 home 位画面对应 V 等于 0.87、0.86、0.83,只有事件真正跳变的时刻才写记录;t 等于 100 时三条失败尝试都在账上,t 等于 182 子任务完成后失败记录被清掉。

理论账本:稀疏有界,记录足够

能量恒等式:整条轨迹的 ΔV² 只有 1/4 预算

论文的第一个结论来自一个很古典的观察:V_t 是以历史为条件的成功概率,它构成一个有界鞅。对有限时域 T,把每一步的增量平方加起来取期望,等于终点与起点的二阶矩之差:

E∑t<TΔVt2=EVT2−EV02≤14 \mathrm{E}\sum_{t<T}\Delta V_t^{2}=\mathrm{E}\leftV_T\^{2}\\right-\mathrm{E}\leftV_0\^{2}\\right\leq\frac{1}{4} Et<T∑ΔVt2=EVT2−EV02≤41

因为 V 落在 0 和 1 之间,V 乘上 1 减 V 最大就是 1/4。这条恒等式的含义是:整条轨迹上「赔率变化」的总能量是有限的,与任务多长无关。作者在附录里还补了一句:如果初始值固定为 p,则这个期望正好等于 p 乘上 1 减 p。

实测也吻合。N 从 2 到 10,平均 episode 长度从 47.3 步涨到 243.2 步,而实测的平方变化总量从 0.1379 涨到 0.2065,与 p(1−p) 的理论值(0.1399 到 0.2047)都在两个标准误之内。任务长了五倍,能量只涨了五成------这就是「稀疏」两个字的来源。

命题 1:大事件的个数与任务长度无关

对任意固定阈值 δ,超过阈值的事件个数有一个与 T 无关的上界:

E∣{t<T:∣ΔVt∣≥δ}∣≤14δ2 \mathrm{E}\left|\left\{t<T:\left|\Delta V_t\right|\geq\delta\right\}\right|\leq\frac{1}{4\delta^{2}} E∣{t<T:∣ΔVt∣≥δ}∣≤4δ21

证明只有两行:δ² 乘上指示函数不超过 ΔV²,求和取期望再用上面的能量恒等式即可。这个上界很松(δ 等于 0.05 时给的是 100),但方向是对的:把任务从 2 个子任务加长到 10 个,需要记的事件并不会线性增加。实测每 episode 里超过 0.05 的变化只有 1.2 到 3.1 次。

图 4 右半张给了另一个角度的证据:把每一步的平方价值变化排序,前 1% 的步数就承载了 79% 到 96% 的总能量(每个 N 用 3000 条参考策略 episode 统计)。也就是说,事件记忆不是在「压缩历史」,而是在「提取那 1%」。

命题 2:不看失败记录,成功率的天花板是 ρ^N

第二个结论解释了为什么基线不是「差一点」而是「归零」。设有 N 个顺序子任务,每个子任务有一个隐藏的正确策略 b_i,取值 A 或 B,且最大先验概率为 ρ。策略在第一次尝试前除了这个先验没有别的信息,只有正确策略能完成子任务。如果一次失败之后,下一次做策略决策时的输入完全没变,那么确定性策略只会重复最初的选择,于是:

P(success)≤ρN P(\mathrm{success})\leq\rho^{N} P(success)≤ρN

ASC 里 ρ 等于 0.7,N 等于 10 时 0.7 的 10 次方约等于 2.8%。实测里「去掉失败记录」是 1.7%,观测窗口是 0.0%------都在这条天花板之下。这条命题的价值在于它把「记忆」从「锦上添花」变成了「必要条件」:在存在别名且失败可恢复的任务里,没有失败记忆的策略成功率随子任务数指数衰减。

定理 1 是条件性结论,不是普适保证

第三个结论回答「记录够不够」。假设存在一个任务寄存器 s_t(记录哪些子任务完成了、哪些策略失败过),初始值已知,专家动作是寄存器、观测与指令的函数;假设每次寄存器更新都恰好被事件规则检出并编码成一条记录,记录按事件顺序保留且容量够用。那么一个固定的解码器可以从记忆里重建寄存器,专家动作也就可以从 (o_t, m_t, l) 里恢复。

这条定理是「条件性充分」的,条件有三:更新必须被检出、记录必须编码出更新所需的信息、容量必须够。三个条件里任何一个破了,结论就不成立。论文自己在附录里也点了这一点:对基于 critic 的选择来说,「每个必需的更新都被检出」是额外的假设,一个充分情形是所有寄存器更新都发生在变化量超过阈值的候选步上,而其他候选都低于阈值。

图 3|能量恒等式实测:实线是 p(1−p),点是 3000 条参考策略 episode 上估出的平方价值变化总量,误差棒为正负两个标准误,N 从 2 到 10 都贴着理论线。

子任务数 N 平均时长 T̄ 理论 p(1−p) 实测平方变化总量 每 episode 超过 0.05 的变化次数
2 47.3 0.1399 0.1379 ± 0.0039 2.49
4 102.5 0.1522 0.1498 ± 0.0045 3.13
6 152.4 0.1686 0.1667 ± 0.0051 2.32
8 199.9 0.1873 0.1959 ± 0.0055 1.87
10 243.2 0.2047 0.2065 ± 0.0056 1.23

诊断实验:N 从 6 走到 10,三条基线一起归零

ASC 的任务结构与噪声设定

实验里的参考策略是一个「知道历史的贝叶斯专家」:它以 1 减 0.02 的概率选对工位,以 1 减 0.05 的概率选对变体;变体的后验由 ρ、q 和两个变体各自失败的次数决定。成功概率 V_t 用稀疏转移矩阵做反向推导精确算出,失败次数上限截到 3。这个「精确 V」是整篇论文的立足点:只有 V 是真的,才能验证「记住 ΔV 大的事件」这条判据本身对不对。

学习部分刻意做得很朴素:一个查表式的 keyness head,按局部特征(工位、阶段、夹爪事件、视觉线索、力的 bin)查 E|ΔV| 和 EΔV,用 1500 条参考 rollout 拟合。策略也是表格化行为克隆,四轮 DAgger,混合系数依次是 1、0.5、0.25、0,每轮 300 条 episode。测试是每个种子 500 条 episode、三个种子,容量 K 取 N。

朴素是刻意的:如果这里用了大网络,「涨点是不是来自容量」就会变成无法回答的问题。代价是结论只能停在「判据有效」,不能外推到「VLA 上一定有效」。

主表:88.0% 对 0.0%

N 等于 6 时还有回旋余地:36 步窗口 60.0%,CGEM 91.6%,oracle 95.4%。到了 N 等于 10,分野就彻底了:CGEM 88.0%,oracle 97.3%,而观测窗口 12 步、36 步、均匀关键帧、运动学记忆全部是 0.0%。阶段完成度上,CGEM 是 93.6%,36 步窗口只有 44.6%------也就是说窗口策略能走完一半的子任务,但从来没能把整条链走完。

这里最该被注意的是「0.0% 不是接近零,而是真的零」。表格里这些基线在三个种子上一次都没成功,和命题 2 的指数衰减是一致的:只要在每个子任务上重复同一个错误选择,整条链的联合成功率就会塌到零。

顺便交代两件读者会追问的事。其一是上下文长度:36 步窗口是 36 帧观测进上下文,CGEM 是 N 条记录,N 等于 10 时最多 10 条,数量上差三倍多;论文没有给 token 级的开销数字,只说记忆是「最多 K 条记录」。其二是「拼接完整历史」这一路对照:论文没有单独跑,最接近信息上界的是 oracle register,它把任务寄存器直接交给策略,N 等于 10 时 97.3%,可以当作这条链路的可达成上限。

三个消融各管一件事

去掉失败记录:N 等于 10 时 1.7%。这几乎就是命题 2 预测的天花板,说明失败记录承载的是「换招」这件事,别的记录替代不了。

去掉力信息:14.2%,符号准确率 68.3%。事件挑得仍然准(保留的能量份额 85.8%,和完整版一样),但三成的记录写错了符号。这条消融最能说明「记什么」和「何时记」是两个独立的问题。

去掉清理:47.7%。保留的能量份额同样是 85.8%,符号准确率 99.3%,也就是说它挑的事件和写的符号都没错,输在容量被过期记录吃光了。40.3 个百分点的差距,全部来自一条删除规则。

容量 K:K=1 全部归零,K=2 就到了 82.7%

容量实验给了一条很实用的曲线。N 等于 6 时,K 等于 1 时所有变体都是 0.0%------我推测是一条记录装不下「试过 A 且失败」与「该换 B」这两层信息。K 等于 2 时 CGEM 已经到 82.7%,而不做清理的版本只有 58.0%;K 等于 6 时两者接近(91.6% 对 91.5%),K 等于 8 时不做清理反而掉到 87.5%(过期记录污染),CGEM 是 91.9%。

换句话说,清理规则让「小容量」变得可用:K 等于 2 就能拿到 82.7%,这意味着部署时不需要为记忆留很大的预算。反过来,如果你不清理,容量给到 8 也补不回来------因为问题不是装不下,是装错了。

图 4|左图成功率随子任务数变化:oracle 与 CGEM 贴着上沿,36 步窗口在 N 等于 8 时已经掉到接近零、N 等于 10 归零,虚线是命题 2 给出的 ρ^N 天花板;右图把平方价值变化按大小排序,前 1% 的步数承担 79% 到 96%。

图 5|论文 Table 1:N 等于 6 与 N 等于 10 下各记忆方案的成功率与阶段完成度。N 等于 10 时 CGEM 88.0%、oracle 97.3%,观测窗口、均匀关键帧与运动学记忆均为 0.0%。

记忆什么时候反而拖后腿

这一节是读这篇论文时最该细看的部分。记忆不是单调有益的东西:同一个机制,在四种情况下会把成功率往下拉,而且论文给了数字。

错误事件:符号错了,记忆就是毒

一条记录的价值全在符号上。记成「进度」但其实失败了,策略会跳过一个没完成的子任务;记成「失败」但其实成功了,策略会无限重试一个已经完成的子任务。ASC 里唯一的符号证据是力:去掉力之后符号准确率 68.3%,成功率 14.2%。三分之一写错的记录,比没有记录还糟------因为策略现在有了一条「看起来可信」的错误依据。

这也是所有事件记忆方案共同的软肋:写入判据再准,只要「结果标签」错了,记忆就是在系统性地误导策略。论文能修这个问题,是因为 ASC 的力信号被设计得可分;真机上这件事就变成了「critic 的残差够不够干净」的问题,也就是第八节的内容。

过期事件:不清账会把容量挤爆

失败记录的有效期只到「对应子任务完成」为止。不清理的话,N 等于 10、K 等于 10 时,前面几个子任务的失败记录会把容量占满,后面子任务的记录要么写不进、要么刚写就被挤掉。数字是 47.7% 对 88.0%。

更隐蔽的一种过期是「策略层面的过期」:同一个子任务里,如果变体 A 失败了、变体 B 成功了,那么「A 失败」这条记录在子任务完成前仍然有用(它告诉策略别再选 A),但一旦完成就立刻失效。论文的规则是「完成后全清」,这个粒度是子任务级的,不是策略级的;如果同一子任务里有多个可恢复的中间状态,子任务级清理可能会多删掉一些还有用的信息。论文没有讨论这个粒度问题。

该记没记:失败记录一删就剩 1.7%

反向的失败同样致命。去掉失败记录之后,进度记录还在,机器人知道「哪些子任务完成了」,但不知道「当前这个子任务里哪种策略试过了」。于是它在每个子任务上都只能按先验选,成功率塌到 1.7%,基本等于 ρ^N。

这一条对工程实践的提醒是:事件记忆的容量预算要按「最坏情况下的失败次数」来配,而不是按「子任务数」来配。ASC 里失败次数被截到 3,所以 K 等于 6 就够了;真实任务里一个子任务可能失败七八次,K 要给够。

门控失效的三种形态

第一种是阈值太松。δ 太小,写入退化成「每步都写」,记忆变成一条滑窗历史,等于绕了一圈回到老路,还多付了写入开销。

第二种是阈值太紧。δ 太大,只有最剧烈的变化才被写入,一些「小幅但关键」的结果会被漏掉。ASC 的实测里,每 episode 超过 0.05 的变化只有 1.2 到 3.1 次,而阈值取的是 0.01------两者之间差了一个量级,说明真正需要写的步数很少,但阈值必须低到能覆盖它们。

第三种是 critic 漂移。事件分数来自学出来的 V̂,如果 critic 在分布外高估或低估,ΔV̂ 就会在错误的地方出现峰值。论文在真机部分测的正是这件事:最好的 critic 在每分钟 0.12 次误报下拿到 76% 的失败窗口召回,这意味着大约四分之一的失败不会被写成记录------按上面的逻辑,这些漏记会直接转化为重试策略的失效。

失效模式 触发条件 论文里的观测 后果
符号写错 力或接触信息缺失,结果不可分 去掉力:符号准确率 68.3%,保留能量份额仍 85.8% 成功率 14.2%(N 等于 10)
记录过期 子任务完成后未清理 去掉清理:符号准确率 99.3%,能量份额 85.8% 成功率 47.7%,K 给到 8 也只有 87.5%
该记未记 失败记录被整体去掉 去掉失败记录:仍有进度记录 成功率 1.7%,接近 ρ^N 天花板
容量不足 K 太小 K 等于 1 时三个变体全为 0.0% 一条记录装不下「子任务 + 符号 + 策略」
门控过松 δ 偏小或不应期过短 论文未给该消融 退化为滑窗历史,写入开销上升
门控过紧 δ 偏大 论文未给该消融 关键结果被漏写,退化为无记忆

真机上的 critic 能不能用

数据与指标

真机部分的任务是 AgiBot 的双臂充电:拿起左侧充电头、插入、再拿起右侧、插入。数据 30 帧每秒,折扣因子 γ 每帧 0.999,动作块长度 H 等于 50 帧。五个 critic 都是基于 DINOv2 的双 Q/V 网络,训练方式分蒙特卡洛回归(MC)和 IQL 两种,奖励分三种模式。

Mode A 只有结果奖励,成功帧加 1。Mode 7 用 VLM 奖励模型预测的里程碑加回归惩罚,再加时间成本,完全没有人工失败标注。Mode 9 用人工标注的里程碑,并且每个人工标注的失败窗口起点给 −0.25。

评测用全部 87 条留出 episode,训练和选 checkpoint 时都没见过:其中 75 条专家轨迹、12 条次优轨迹,含 42 个标注出来的可恢复失败(16 次插入失败、15 次空抓、11 次抓取姿态不对)。所有 episode 最后都成功了,所以失败是以「episode 内的窗口」来评的,不是以「整条 episode 失败」来评的。

打分用的是动作块级的 TD 残差:把块内的折扣奖励加上 γ^H 乘以下一块的价值估计,再减去当前价值估计,然后做 7 点滑动平均。只看价值的那一部分(去掉块内奖励)也单独评了一遍。指标有两个:kappa_0 是所有专家步上残差绝对值的 99 分位(26,846 步、74.6 分钟),kappa_min 是失败窗口内负残差峰值的 10 分位(窗口前后各延 1 秒)。判定规则是窗口内某处残差低于负 θ 就算检出,误写则统计专家 episode 上的越阈值次数,0.3 秒内的合并。

结果:IQL Mode 7 的 AUROC 是 0.86

最好的组合是 IQL Mode 7:AUROC 0.86,在每分钟 0.12 次误报下拿到 76% 的失败窗口召回,κ0 是 0.084、κmin 是 0.087,两者之差为正的 0.003------意思是「失败窗口里的残差峰值」和「专家步上的残差上界」几乎分不开。这组数字要连着看:AUROC 0.86 是逐步骤的排序能力,召回 76% 是窗口级的检出能力,0.12 次每分钟是代价。三者合起来才算一个可用的检测器。

Mode 9 的两个 critic 把 42 个窗口全检出了(召回 1.00),但它们的奖励里已经包含人工标注的失败惩罚,属于「标签泄漏进奖励」,只能用来当上界参考,不能当泛化证据。论文自己在表里用「labels in reward」这一列标了出来,这个处理是诚实的。

最差的是 MC Mode A:AUROC 0.71,同样阈值下召回只有 12%,误报 0.07 次每分钟。只有结果奖励、没有里程碑,价值曲线在失败窗口里几乎不塌------这也解释了为什么「只用稀疏结果」的 critic 不足以支撑事件门控。

标签泄漏的那两行说明了什么

Mode 9 的两行数字(召回 1.00、margin 正 0.111 和正 0.155)看起来最漂亮,但它们测的不是「能不能发现失败」,而是「标注进奖励之后残差会不会塌」。把它们和 Mode 7 放在一起看,正确的读法是:在完全无人工失败标注的条件下,一个 VLM 奖励模型给的里程碑已经足够把 AUROC 做到 0.86;人工标注能把它推到接近完美,但那个完美是借来的。

对想落地的人来说,这个对比其实是个好消息:Mode 7 不需要人工标失败窗口,只需要里程碑和结果,标注成本低一个量级。

这条证据能支持什么

它能支持的是:在一条真实的双臂长时程任务上,用现成的价值学习配方加 DINOv2 特征,可以拿到一个「每分钟误报低于 1 次、召回七成以上」的失败事件检测器。这是事件记忆能落地的前置条件,论文把它单独测了,值得肯定。

它不能支持的是:把 CGEM 整套接上 π0.5 之后成功率会涨多少。论文没有做这个实验,附录 D 写的是「proposed integration」和「planned evaluation on LIBERO-Long and real-robot tasks」。这条界线必须划清楚,否则 88.0% 那个数字会被误读成 VLA 上的结果。

图 6|论文 Table 4:五个真机 critic 在 87 条测试 episode、42 个失败窗口上的检测指标。IQL Mode 7 的 AUROC 为 0.86,Mode 9 两行召回 1.00 但奖励里含人工标注。

图 7|阈值变化下的召回与误报权衡:实线为完整 TD 残差,虚线为只看价值的那一部分。IQL Mode 9(绿)在最左侧就顶到 1.0,IQL Mode 7(蓝)在每分钟 0.1 次误报附近到 0.76。

图 8|五个 critic 的价值预测:上为一条成功 episode,下为一条含失败窗口的次优 episode(粉色为标注的失败窗口)。下图的橙色曲线在失败窗口里明显下探,黑色曲线几乎不动。

局限与失效场景

作者自己承认的三件事

第一,π0.5 的集成是提出的架构,不是已完成的实验。图 1 右侧画的是「proposed memory architecture for π0.5」,附录 D 明确写了「would replay」「planned evaluation」。所有成功率数字都来自 ASC 的表格化行为克隆。

第二,主实验的成功概率是精确计算的。ASC 用反向推导算出真实的 V_t,再据此拟合一查表式的 keyness head。这保证了对判据本身的检验是干净的,但也意味着这套流程依赖「有一个准的 V」,而真机上这个前提只被部分验证(第八节的检测器实验)。

第三,真机只验证了检测器,没有验证闭环。87 条 episode 全部以成功结束,失败是以窗口形式评估的;没有「记忆接上策略之后任务成功率变化」的数据。

我读表读出来的四条

其一,容量 K 取的是 N,也就是理想容量。容量实验虽然给了 K 从 1 到 8 的曲线,但那是 N 等于 6 的场景;N 等于 10 时 K 小于 10 会怎样,论文没给。

其二,力的作用被高估还是低估,取决于任务。ASC 里按压工位的结果只能靠力分辨,所以去掉力会崩到 14.2%;但在纯视觉可分辨的任务里,力的边际价值可能小得多。论文没有给「视觉可分」场景下的对照。

其三,观测窗口的失败有一部分是「表格化策略不会数数」造成的。如果换成带注意力的序列模型,36 步窗口的表现可能会好一些,0.0% 这个数字不宜直接搬到 VLA 上。

其四,δ 等于 0.01 和 2 步不应期都是诊断环境里的取值,论文没有给跨环境的调参建议,也没有给 δ 的敏感性分析。

会崩的输入清单

  • 结果事件在观测与力上都不可分:符号判错,记一条错一条,成功率低于无记忆。
  • 子任务边界本身模糊:清理规则不知道「什么时候算完成」,失败记录要么早删要么不删。
  • 失败次数超过容量:一个子任务失败七八次,K 按子任务数配会不够。
  • critic 在分布外漂移:ΔV̂ 在无关时刻出现峰值,写入变成噪声。
  • 任务里存在不可恢复的失败:记忆能帮你换招,但换不回来;这类任务需要的是安全约束而不是记忆。
  • 单次尝试极短、结果频繁:不应期会把相邻的结果事件合并掉。

落地判断:什么团队值得试

值得试:你有 critic,也有可恢复失败

三类团队最适合试:

  • 已经在训练价值模型或 critic 的:做 RL 微调、做进度奖励、做成功检测的团队,手上本来就有 V̂。
  • 任务里失败可恢复且需要换招的:插拔、装配、开关门这类「同一位姿、不同下一步」的活。
  • 子任务边界可以自动或半自动标注的:有阶段标注、有里程碑检测器,清理规则才有落点。

这三条其实对应论文的三个前提:有 V̂、有结果符号、有清理边界。缺一条,这套机制的收益就会打折。

别碰:这三类团队

第一类,没有结果标签也没有力/接触信号的。没有符号,记忆就是随机噪声,14.2% 那个数字就是你的上限。

第二类,任务不可重试或失败代价极高的。记忆解决的是「试过什么」,不解决「别撞上去」。

第三类,实时预算极紧、连一次 critic 前向都挤不出来的。事件门控要求每一步(或每个动作块)都跑一次 critic,这是实打实的额外推理。论文没有给这部分开销的数字,但从结构上看它和省算力无关------它省的是上下文长度,不是算力。

如果只抄一件事

只抄「记带符号的结果 + 子任务完成即清」这两条,不要抄整套。理由:这两条是消融里贡献最大的(1.7% 和 47.7% 两个数字),而且不依赖具体网络结构;至于 critic 怎么来、阈值怎么定、记忆怎么读进策略,每个团队都有自己的现成件。

具体做法可以很土:给每个子任务维护一个「已试策略 → 结果」的小表,子任务完成就清空该表,失败时优先选没试过的策略。这就是 CGEM 在 ASC 里做的事,只不过 ASC 用 critic 来决定「什么时候往表里写」。

上线前的五道检查

  1. 先量符号准确率:拿一批带结果的轨迹,看你的 critic 或检测器把「进度」和「失败」分开的准确率。低于 90% 就别急着上,先修符号。
  2. 再量事件召回:在标注的失败窗口上算召回,在专家轨迹上算每分钟误报。论文的参考线是 76% 召回对 0.12 次每分钟。
  3. 确认清理边界:子任务完成的判定必须可靠,否则失败记录要么早删(退化成 1.7%)要么不删(退化成 47.7%)。
  4. 按最坏失败次数配 K:不要按子任务数配,按「单个子任务最多失败几次」乘上子任务数配。
  5. 做一次「无记忆对照」:同数据、同策略、只去掉记忆,看成功率差多少。如果差距很小,说明你的任务里别名不严重,这套机制没必要上。

术语速查

术语 原文含义与本文解释
决策别名(decision aliasing) 两个不同的执行历史产生相同的策略输入 (o_t, m_t, l),却要求不同的动作
事件记忆(event memory) 最多存 K 条记录的紧凑记忆 m_t,用来携带历史中影响决策的信息
critic 估计「给定历史下最终成功率」的模型,记作 V̂_t
事件分数(event score) 相邻两步成功率预测的变化量绝对值,记作 kappa_t,也就是 V̂ 差分的绝对值
进度记录 成功率为正变化时写入的记录,表示某个子任务已完成
失败记录 成功率为负变化时写入的记录,带子任务与尝试过的策略,用于换招重试
合并/清理(consolidation) 子任务完成后删除其名下全部失败记录的规则
能量恒等式 整条轨迹的平方价值变化期望等于 V 的二阶矩之差,上界为 1/4
失败盲天花板 不看失败记录时,N 个子任务的成功率上界为 ρ^N
ASC Aliased Stage Chain,三工位、四阶段、每次尝试后回到相同 home 观测的诊断环境
TD 残差(d_t) 块内折扣奖励加下一块价值估计减当前价值估计,用作事件检测分数
标签泄漏 critic 的奖励里包含评测用的人工失败标注,导致指标虚高
相关推荐
京东云开发者17 分钟前
京东云推出全新JoyCode智能编码工具,让AI Coding从代码生成走向成果交付
人工智能
泓博18 分钟前
Android仿写苹果缩放窗口
人工智能·gpt·深度学习
软件技术NINI33 分钟前
DeepSeek 大模型落地应用实战指南
大数据·人工智能
大模型真好玩1 小时前
大模型训练全流程实战指南实战篇(十八)——微调问答对数据构建技术
人工智能·agent·deepseek
甲维斯1 小时前
谷歌太抽象了,快速测一下Hydrogen!
人工智能
Dawson Zhu1 小时前
【分布式训练⑧】通信优化:NCCL、Ring AllReduce与计算通信重叠
人工智能·语言模型·架构·aigc·agi
泯泷2 小时前
AI Agent 工具设计:给模型装上“手脚”,为什么不能只会调用 API?
人工智能·llm·agent
在所不辞兄2 小时前
【人工智能驱动的电催化研究-07】CSV文件、路径与可追溯记录
人工智能·深度学习·神经网络·机器学习·有限元·电化学·电催化
装不满的克莱因瓶2 小时前
【从零搭建】AI大模型之ReactAgent智能体对接MCP实战
java·人工智能·ai·springai·mcp·springaialibaba