让错误活不过 N 步
------Agent 长任务的 checkpoint 设计
checkpoint 不是让任务停下,是让错误停下。检查点的密度不该跟着任务的难度走,应该跟着后果的可逆性走。
三句话版:上一篇(《做错一步不算什么,错了接着干才是事故》)的结论是:长任务里错误的成本 = 振幅 × 驻留时间 × 传染半径,工程重点是压缩后两项。这篇讲怎么落地:用分段把任务切成"每段产出一个可检查工件"的绿点序列,用三层检查(机械 / 语义 / 意图)按代价分配注意力,用状态文件把"已验证"和"未验证"分开记账,用闸门拦住不可逆操作。目标是让"错误最多活多久"从运气问题变成一个参数。
〇、定位:从口号到参数
上一篇论证了 Agent 长任务的主要矛盾:错误必然发生,麻烦的是滞留和扩散。结尾留了一句话------"错误最多活多久,应该由设计决定"。
这句话的具体形态就是 checkpoint。但很多 Agent 系统里的 checkpoint 是装饰品:每隔十步打印一句"自检通过✓",没有任何东西被真的检查过。这篇讲的是能拦住错误的 checkpoint 怎么设计------查什么、在哪查、查完留什么痕迹、谁来查。
一、先分段:按可验证边界切,不按时长切
checkpoint 的第一性问题不是"多久查一次",而是"每段的结尾有没有一个能被检查的东西"。文件、一次测试通过、一张映射表、一个 PR、一条变更说明------能被打开看的,才算工件。
一个好用的分段模板是把任务拆成四种角色,各司其职:
scss
侦察 ──▶ 设计 ──▶ 改写 ──▶ 验证 ──▶ 提交
(只读) (出方案) (动手) (证明) (不可逆)
L1 L2+绿点 L2+绿点 L3+绿点 闸门:人工
- 侦察只读不动手,产出是"我看清楚了什么";
- 设计产出显式计划,锁定后成为后续对照的基准;
- 改写是唯一允许大规模动产物的阶段;
- 验证单独成段,不许和改写在同一步里顺手完成;
- 提交是不可逆操作,进闸门(见第四节)。
反例是把"改写 34 处引用"当成一段------它没有段末工件,错误可以在中间任何一步着陆。正例是"改完这一段并让相关测试变绿",测试就是段末工件,红灯即停。
二、查什么:三层检查,按代价分配
检查是有成本的,不能所有层都全量跑。三层各管一件事:
| 层 | 查什么 | 手段 | 频率 | 拦什么 |
|---|---|---|---|---|
| L1 机械 | 命令退出码、lint、类型、schema diff | 全自动,几乎零成本 | 每步 | 错误的振幅:让错误当场喊疼 |
| L2 语义 | 测试、产物审读、对照计划核对 | 脚本 + Agent 自查 | 每段末 | 驻留时间:错了不允许带病进下一段 |
| L3 意图 | 这还是我们想要的吗?需求漂移了吗? | 人或全新上下文的 verifier | 每 3~5 段 + 不可逆前 | 传染半径:方向性错误不允许被"执行得很完美" |
L1 便宜到没有理由跳过;L2 是主力防线上一篇说过的"自己批改自己的考卷",L2 至少要做到"对着计划逐条核对"而不是凭印象打勾;L3 最贵,所以频率最低、只放在高影响位置,且最好由没有执行记忆的全新上下文来做------它只看需求和产物,没有错误的前提。
一条实用的判断规则:检查点跟着后果走,不跟着难度走。 难的步骤失败是响的(会报错、会红灯),危险的步骤失败才是静的(跑通了,但方向错了)。检查预算应该花在后者。
三、留什么痕迹:状态文件是审计版账本
上一篇说过,Agent 的上下文是账本不是草稿------写进去的都会被当成既成事实。对策不是不写,而是另立一本审计账:一个贯穿全程的状态文件,把"已验证"和"未验证"分开写。比如:
markdown
# STATE
任务:order_status 字段迁移(plan v2)
## 绿点(可回滚)
- [x] S1 侦察:字段清单与依赖已核实(commit a1b2)
- [x] S2 映射表:12 个字段的旧→新映射,已由 verifier 复核
## 进行中(未验证)
- [ ] S3 改写脚本:34 处引用待改
## 验证记录
- S1:grep 核对通过
- S2:verifier 指出 order_status 与 order_state 易混淆,映射表已加注释
三条纪律:
- 每段结束必须更新,更新是段末定义的一部分------没有状态更新的段落不算完成;
- 自检必须交证据,不收结论。 "检查通过✓"不算数,命令输出、测试结果、diff 链接才算。否则自检会退化成表演,Agent 学会了说"✓"这个字;
- 恢复从绿点重放。 任务中断或失败,不凭记忆续跑,从最近绿点重放。绿点的意义就在这:任何时候回头看,都有一个确定是干净的格子。
四、闸门:哪些操作必须停下来等确认
判断标准只有一条:可逆的不停,不可逆的必停。
典型清单:删数据、生产库写入、发布上线、对外发送、花钱、覆盖唯一权威版本。设计手法是先降级、后拦截:
- dry-run 先行:每个危险操作都有"只报告将做什么"的模式。Agent 必须先输出影响面(将改动多少行、涉及哪些表),批准后再执行;
- 事务包裹:能用事务的操作全部包进事务,失败即整体回滚,不留半截状态;
- 两段式执行:plan 和 apply 分成两个独立步骤、两次确认。一次"计划+执行"连跑的操作,等于没有闸门。
闸门的经济学上一篇说过:它把错误的定价从连续变量变成离散变量,一步一格,撞闸即停。
五、参数怎么定:起步值与调整规则
不用一次设计到位,按这个默认值起步:
- L1:每步,全开;
- L2:每段末;
- L3:每 3~5 段一次,不可逆操作前必做;
- 人工闸门:只放在第四节清单里的操作。
然后跑起来按错误史调整,规则是:哪一类错误曾经驻留超过 5 步,就在那类操作后面加一道检查。 这和组织的复盘是同一个逻辑------事故不是用来道歉的,是用来改流程的。
也要防反面:检查点太密,任务被切成碎片,Agent 陷在自检循环里打转,或者把自检做成仪式。检查是成本,密度是个滑块,不是开关。调整的依据永远是上一条的驻留记录,而不是"多检查总没坏处"------有坏处,坏处在速度和表演性合规。
六、收尾闭环:从救火到检查项
任务跑完(或救完火),看三样东西:
- retry 分布:同一条错误反复出现的日志,就是驻留的现场记录------数一下它隔了几步才被换姿势处理,那就是这段流程的真实 MTTD;
- 停在哪些点:频繁触发闸门的环节,说明计划阶段对风险的设计不足,该前移到侦察/设计段;
- 人工救火清单:每次人工介入,问一句"哪个 checkpoint 本来能拦住它",把答案变成新的检查项。坏案例不是用来后悔的,是用来变成检查点的。
这样新任务天然继承旧任务的伤疤,和上一篇说的组织 MTTD 一样,这是个只会变好的循环。
结尾:一份最小配置
来不及做完整设计,至少带上这四件东西再开跑:
- 一份显式计划,作为偏航对照的基准;
- 一份 STATE 状态文件,已验证和未验证分开记;
- 每段末一个绿点:一段 = 一个可检查工件 + 一次 L2;
- 不可逆操作前一道闸门,dry-run 报告影响面,人工点头再动。
checkpoint 的本质,不是防止 Agent 走错------那做不到,上一篇的数学已经算过了------而是保证任何时刻停下来看,都有一个确定是绿的格子可以退回。
错误可以发生;"错误最多活多久",写进配置里。