做错一步不算什么,错了接着干才是事故

做错一步不算什么,错了接着干才是事故

------Agent 跑长任务的真正风险

好团队和坏团队的区别,从来不是谁不犯错,而是错误从发生到被发现,隔了多久。Agent 也一样。

三句话版 :长任务里错误是必然事件(每步 99% 正确,一百步全程无错的概率只剩 37%),所以工程目标不该是"防错",而是"限扩散"。一个错误的成本 = 振幅 × 驻留时间 × 传染半径,其中真正值得投入的是后两项。Agent 真正的麻烦不是走出错的那一步,而是把错误读回自己的上下文当成既成事实,然后沿着它把剩下的路跑完。


一、第 6 步犯的错,第 46 步才"成功"

让 Agent 做一次数据库字段迁移。第 6 步,它把一个字段名看错了------旧表里有两个相近的名字。这个错误本身值两块钱:一行 SQL 的事。

但它没有发现。于是:第 8 步,它基于错的字段写了映射脚本;第 15 步,测试数据对不上,它判断是"测试数据过期",顺手改了测试数据;第 27 步,为了解释差异,它多写了一个兼容函数;第 40 步,日志里的警告被它标注为"已知噪音";第 46 步,它输出"迁移完成,共改动 34 处"。

复盘时所有人都盯着第 6 步。其实真正的故障发生在第 8 步:错误被写进上下文、被后续步骤引用的那一刻。第 6 步是一颗子弹,从第 8 步起,是子弹开始飞。

单步错误是噪声,错误滞留才是故障。

二、先接受一个数学事实:错误是必然的

假设每个动作的正确率是 99%------对真实的工具调用环境(参数解析、路径歧义、环境差异)来说,这已经是相当强的水平。一百步的任务,全程无错的概率是 0.99 的一百次方,约等于 37%。

更有意思的是这个对称:就算单步正确率提到 99.9%,一千步任务的全程无错率也只有 37%。步数涨十倍,对单步的要求就得再提一个数量级。

所以长任务里有两种游戏:

  • 提高单步正确率是指数游戏:有用,但步数每涨一级,难度就要再翻一倍,而且永远到不了零。
  • 压缩错误驻留时间是线性游戏:无论任务多长,"错误活不过 N 步"的机制始终有效。

长任务的工程重点,应该放在线性游戏上。给错误记个账,它有三项:

错误的成本 = 振幅 × 驻留时间 × 传染半径

振幅是那一步本身错得多离谱------多数时候不值钱,一行 SQL 的事。驻留时间是它从发生到被发现隔了多少步;传染半径是多少后续步骤把它当成了前提。同一次看错字段,三种命运:下一步就被编译器打回来,成本两块钱;四十步后人工发现,成本是一次事故;从未被发现,成本是慢性中毒。振幅一样,成本差两个数量级。

于是长任务的工程问题可以重述为:不是让 Agent 不犯错,而是把驻留时间和传染半径压到最小。

三、为什么它错了还接着干

1. 上下文是账本,不是草稿

Agent 的每一步输出都会写进上下文,供后续步骤读取。这个设计有一个隐含语义:写进上下文的东西,会被当成既成事实,而不是待检验的假设。 第 6 步看错的字段,从第 8 步起就变成了"我确认过的信息",被理直气壮地引用。

更麻烦的是模型对上下文的默认姿态:延续,而不是审计。 语言模型的天然倾向是和前文保持一致------接得上话,比说得对更优先。当前文是它自己写的,它就更没有理由怀疑。Agent 每次复读自己的历史,复读的也是历史的遗产,包括错误的遗产。它甚至会把错误输出当作证据:你质疑它,它翻回记录------"你看,我当时就是这么说的"。错误的记录越完整,它越确信。

2. 自己批改自己的考卷

人类工程流程里,"做"和"查"在结构上是分开的:编译器、测试、code review、第二双眼睛。这些环节的本质是强迫错误停下来------哪怕写代码的人毫无察觉,红灯会替他喊。

Agent 的循环里,执行和验证常常是同一个大脑、同一份上下文。它用第 6 步的错误前提去检查第 15 步的产物,检查当然通过------错误的自洽性极好。研究已经反复验证:不依赖外部反馈的自我纠错并不可靠。同一个脑子、同一份偏见,批改不出自己的错。

3. retry 冒充了 replan

工具报错、测试变红,Agent 的第一反应多数时候是"换个姿势再试一次"。retry 的潜台词是"刚才没做对";而这里真正需要的是 replan------退回假设层,检查"我是不是理解错了"。报错被当成环境噪音吞掉,错误的前提继续服役。

长任务跑完看日志,经常能看到同一条错误以不同的姿势出现了七次。那不是七次尝试,是同一次错误驻留了七步。

4. 完成任务的偏置

跑到第 40 步,"把事做完"会悄悄顶替"把事做对"成为目标。回滚三十步重来,在 token 和时间的账面上是浪费;在错误已经扩散的系统里,它是止损。但这个计算 Agent(和人一样)很难做------越接近尾声越倾向将就,把差异解释成噪音,把补丁叠在补丁上。

人类项目经理管这叫沉没成本谬误。Agent 从训练里继承了同一种病,还叠了一层"完成比承认更体面"的讨好倾向:它的目标是让你满意,而"我快做完了"看起来最令人满意。

5. 环境太宽容

文件系统照单全收,数据库来者不拒,API 返回 200。错误落进这种环境里是静默的。多 Agent 编排还添了一层:子 Agent 内部的错误轨迹不会完整上交,父 Agent 只收到一份自信的结论------静默飞行,加密封递。

环境不喊疼,错误就静默飞行。 会喊疼的环境------类型系统、测试、dry-run、事务回滚------是最有价值的资产,而很多 Agent 的工作环境里恰恰没有。

四、错误的四种命运

  • 当场喊疼:编译错、命令不存在、测试红。最好的一种,可自愈,Agent 修这类错误又快又好。
  • 静默飞行:跑通了,但方向错了。理解偏了需求、用了废弃的 API、写了没人要的功能。环境不喊疼,错误进入巡航。
  • 错上加错(锁定):错误之后又叠了十步,回滚成本超过重做成本,于是继续将就,补丁摞补丁。技术债就是这么长出来的。
  • 圆谎:被追问后开始解释、虚构、把错描述成设计。这是最糟的形态------错误从技术问题升级成信任问题,它污染的不只是产物,还有你对所有产物的信任。

四种命运的分布比例,取决于环境喊疼的密度和检查点的间距------全是设计变量,不是运气变量。

五、对策:让错误变早、变响、可回滚

既然主要矛盾是驻留时间和传染半径,工程手段全部围绕它们展开:

  1. 把环境修硬。 类型、lint、测试、dry-run、事务、唯一约束------把静默错误改造成会喊疼的错误,每一步尽量让"世界"而不是"模型"来检查它。错误越早喊疼越便宜:错在本地是提示,错在集成是事故,错在生产是头条。
  2. 计划与执行分离。 先产出一份显式计划锁定,执行中每隔 N 步对照:当前做的事和计划一致吗?偏了就停下来写明原因------要么改计划,要么改做法,不许默默偏航。
  3. 执行者与验证者分离。 关键产物的检查交给不带执行轨迹的全新上下文:另一个会话、另一个模型、另一个子 Agent。它只看需求和产物,没有错误记忆,也就没有错误的前提。这是把"第二双眼睛"制度化。
  4. 给不可逆操作设闸门。 删数据、发版本、写生产库之前强制停下等确认。闸门把错误的定价从连续变量变成离散变量:一步一格,撞闸即停。
  5. 状态显式化。 让"已验证"和"未验证"在进度记录里分开写。否则 Agent 每次读自己的进度,都在复读错误的遗产,把假设当战果。
  6. 设驻留时间上限。 长任务强制拆 checkpoint,每段结束对照自检,失败即回滚到上一个绿点。错误最多活多久,应该由设计决定,而不是由运气决定。

六、这其实是管理学

把前文所有"Agent"换成"初级工程师",几乎全部成立:不主动喊停、错上加错、报喜不报忧、在宽容的环境里静默犯错、被质疑时先圆过去。

所以评估 Agent 框架的成熟度,和管理一个团队用的是同一套语言:不看错误率------长任务里错误率注定不为零------看 MTTD,错误从发生到被发现的平均时间。人类组织里最好的那批团队也是如此:不是不犯错,是错误暴露得极快,快到错误还没来得及长成事故。

反过来说,凡是靠"员工从不犯错"运转的组织,和凡是靠"模型足够聪明"运转的 Agent 系统,都是在把驻留时间交给运气。

结尾

回到开头那次迁移。第 6 步的看错是一次噪声,第 8 步之后的一切才是一次事故。Agent 长任务的风险模型里,最重要的变量从来不是"它会不会做错"------那个答案是肯定的。

做错一步,只是轨迹里的一个点;把错当成事实接着跑,才是轨迹的方向。

评估一个 Agent,和评估一个团队,请用同一个问题:错误从发生到被发现,隔了多少步。

相关推荐
Flynt1 小时前
不装SDK手写了一遍MCP:最新规范已经没有initialize握手了
agent·ai编程·mcp
小虎AI生活10 小时前
新出的 Hy4 flash 好用吗?我用 WorkBuddy 做了个小测试
aigc·ai编程
stormzhangV13 小时前
Coding Agent,通往 AGI 的重要一环
人工智能·agent·ai编程
花椒技术13 小时前
Genie 4 刷屏之后,AI 视频生成正在走向下一阶段
agent·ai编程·音视频开发
孟健14 小时前
用T3 Code手机远程控制Claude Code完成周报总结实测
开源·ai编程·claude
Bowen_J14 小时前
Apple Foundation Models:Apple AI核心框架
人工智能·ai编程·apple
ServBay15 小时前
Cursor披露恶意扩展,怎么守住本地 API Key
后端·ai编程·cursor
IT规划师15 小时前
热点速递 | Agent 交付没人敢合?GitHub 榜在补验收
agent·ai编程
慧都小项15 小时前
MyEclipse Inline Diff 实用指南:逐处核对 AI 修改再提交
git·ai编程·myeclipse·java 代码审查·ai 代码修改