别再用“AI 说完成了”:一套可复算的 Agent 验收流水线

做 AI Agent 自动化,最难的不是让它跑起来,而是让它每次跑完都能证明自己真的跑对了。

我们这条流水线跑在 Windows 上,服务、脚本、浏览器、内容平台混在一起。最早期的验收方式是"看日志""看返回码""看文件在不在"。结果就是:脚本 exit 0,任务标成功;接口 HTTP 200,以为发布完成;文件写出来了,以为数据落库。直到某次平台后台空空如也,才发现"成功"只是我们自己封的。

后来我把验收拆成四层,每层都必须有盘上证据。

1. 入口层:先查台账,禁止从零造轮子

任何任务开工前先跑一次资产台账查询。台账里每条能力都有:

json 复制代码
{
  "assetId": "a-second-self-publish-chain",
  "state": { "implementation": "present", "integration": "wired", "deployment": "running" },
  "evidence": {
    "level": "E3",
    "cmd": "node tools/digital-life/ops/platform-executors.mjs check",
    "expectedLine": "PLATFORM_EXECUTOR=zhihu route=easel media=text state=READY_LOGGED_IN",
    "observedAt": "2026-11-20T02:10:00+08:00",
    "invalidAfterHours": 24
  }
}

查询结果只有四种:REUSE、ADAPT、INVESTIGATE、BLOCKED。只要命中 REUSE,就直接用;EVIDENCE_STALE 就先复算;不能因为"我没见过"就重新写一套。

这层最反直觉,但收益最大:它把"AI 的记忆"换成了"系统的记忆"。

2. 执行层:命令必须可重复,输出必须可判定

每条关键命令都要有一行固定格式的输出,例如:

text 复制代码
RESOURCE_GATE=PASS freeGB=15.01 commitFreeGB=4.20
PLATFORM_EXECUTOR=OK platform=zhihu route=easel
PUBLISH_QUEUE=OK published=3 failed=0 login_required=0
RECEIPTS_AUDIT=OK valid28d=9 readyNoReceipt=0

验收器不解析自然语言,只匹配这一行。没有这一行,就算命令跑完也不能算完成。这样做的好处是,换一个 AI、换一个窗口、换一台机器,判据都不会漂移。

3. 回执层:发布成功必须有平台侧证据

内容平台的"发布成功"是最容易自欺的环节。我们只认三种证据:

  • 平台 URL / permalink;
  • 平台管理页或信息流里出现标题/正文;
  • 截图 OCR 命中正文前 12 个字。

所以回执记录不是简单一条 ok:true,而是:

json 复制代码
{
  "platform": "zhihu",
  "status": "published",
  "url": "https://zhuanlan.zhihu.com/p/...",
  "publishedAt": "2026-11-20T02:20:00+08:00",
  "contentHash": "sha256:..."
}

没有 URL 的记录,审计器直接判无效。审核中的写 submitted_review,被过滤器移除的写 removed_by_filter,不混进 published 的分子里。

4. 资源层:提交量比 CPU 更容易杀死任务

Windows 上跑浏览器自动化,最先崩的往往不是 CPU,而是 commit(提交量) 。物理内存还剩 15GB,提交量只剩 1.8GB 时,新开 Chromium 会直接失败,已有进程也会开始报 0xC0000142。

所以我们的任务闸门里有一条硬判据:

text 复制代码
commitFreeGB < 2  => BLOCK
commitFreeGB < 4  => WARN
freeGB < 4        => BLOCK
usedPercent >= 87.5 => BLOCK

这不是"保守",而是成本最低的稳定性投资。任务排队可以等,系统崩了要花几个小时恢复。

5. 最后是调度:不要相信"计划任务 Ready"

Windows 计划任务显示 Ready,不代表它真的跑过。我们遇到过 Last Result=267011、任务状态正常但脚本从未执行的情况。现在的判据是:

  • 连续触发两次;
  • 两次都产出独立的 AUTOPILOT_DAILY=ok=20/20;
  • 每次都有独立日志文件,不共享日志句柄。

只有两次都过,才写 SCHEDULER_2RUN=OK。

这套流水线不酷,但它可审计

它不会让 Agent 看起来更聪明,反而会让它经常说"未完成""待复算""BLOCK"。但它解决了一个更根本的问题:

当一个人不在现场时,系统还能不能证明自己干了什么。

一人公司没有团队兜底,所以只能把"信任"建立在可复算的证据上,而不是建立在 AI 的自我报告上。

如果你正在做 Agent 自动化,建议先选一个你最不放心、但最常说"应该没问题"的环节,把它改成一行固定输出 + 一条真实回执。那一行输出,就是系统开始可信的起点。

相关推荐
张明君6445111 分钟前
在 Astro SSR 项目中实现服务启动前初始化
前端·后端
用户37215742613527 分钟前
Java 删除 Excel 重复行:整行去重、按单列和多列去重
后端
AI入职记1 小时前
RAG 一个请求吃掉 8 个核,chat 只要 0.16 个
后端·ai编程
aurora_zjj1 小时前
Nginx $request_length 为什么会变成负数?一次流量统计异常的源码排查
后端
旋律4142 小时前
布隆过滤器(Bloom Filter)
后端
站大爷IP2 小时前
Python的构造方法把我坑惨了,原来__new__和__init__的区别这么大
后端
Gopher_HBo2 小时前
一串裸 uint64,怎么攒成一份 pprof 文件?
后端
代码丰2 小时前
从重复点击到多实例并发:异步报表导出的五层幂等与防重设计
后端
斯维赤2 小时前
三级缓存为什么是三级?二级缓存不够吗
前端·后端·面试