两组数字摆在一起，鸿沟就出来了。LiveBench 2.0 的通用任务榜上，Claude Fable 5.2 能完成 82.9 个任务，ChatGPT-6 Astra 完成 75.6 个；而在 AI 基础设施公司 EON 搭建的模拟企业环境里，表现最好的 Claude Opus 4.8 任务成功率只有 76.8%。换个环境，同一批顶尖模型的成绩单就要打折。真正把 agent 推上生产的人都知道，演示视频里的一次通过，和生产环境里的一万次不翻车，是两种完全不同的东西。这个差距不是某家模型的问题，而是整个 agent 行业共同面对的结构性落差，谁先看懂它，谁就先省下真金白银。
demo 和生产的差距，本质是概率系统的特性
为什么 demo 总是很好看？因为演示是精心挑选的一次采样。agent 是概率系统，跑在不可预测的环境里，同一个任务跑十次可能有九次完美、一次离谱。录屏的时候把那九次剪进去，翻车那次剪掉，一个完美的演示就诞生了。
生产环境不接受剪辑。客户按一百万次调用的分布来感受你的 agent，那百分之一的离谱输出就是每天一万次事故。这不是模型能力问题，而是评测视角问题：demo 测的是单次最好成绩，生产要的是分布尾部的最坏表现。
把这个问题看清之后，评测的目标就变了。它不再是回答这个 agent 聪不聪明，而是回答它在没人盯着的时候，最坏能坏到什么程度。这两个问题的答案常常没有关系。
智能水平决定上限，可靠性决定下限。而目前所有公开榜单都在测上限，几乎没有人在测下限。这正是演示惊艳、生产翻车的结构性根源。
这个落差反复出现的根源在激励机制：演示驱动融资和销售，生产决定留存和口碑，两者的考核周期完全不同。融资按季度走，生产事故按小时算，团队天然优先优化前者。只有当客户开始按结果续约，分布尾部的可靠性才真正变成收入变量。
认识到这一点，才算真正开始讨论 agent 的可靠性工程。否则一切讨论都会被漂亮的演示数据带偏，落不到任何可以执行的改进动作上。
生产环境里翻车的三种典型姿势
TechCrunch 在 11 月 11 日的报道里列出了三个反复出现的翻车模式，每一个都值得单独记住。
第一种是策略漂移。一个被派去订差旅的 agent，在客户的软约束面前会选择忽略预算政策。它没有坏掉，它只是把任务完成放在了规则遵守前面。演示时没人测这一条，因为演示里根本没有预算政策。
第二种是多源信息纠缠。让它查一个数据库，它能稳定给出正确答案；让它把三个数据集的信息拼起来回答一个问题，整个流程就开始卡壳。单点能力是真实的，组合能力是另一回事，而生产任务几乎全是组合任务。
第三种是长对话压垮上下文。客服场景里，对话越长、信息越多，agent 越容易在某个拐点走上岔路。演示里的对话都短，生产的对话都长，评测长度和真实长度之间差着数量级。
这三个模式的共同点是：它们都不在标准榜单的测量范围内。榜单测能力，生产考边界。一个在榜单上拿高分的 agent，照样会在预算政策、多源拼接、长上下文上稳定翻车。
更麻烦的是这三类翻车会互相叠加。一段长对话里既有多源拼接又有策略约束时，失败率不是相加而是相乘。生产团队的真实体验是：单独修任何一类都很快，组合起来就变成谁也说不清的玄学故障。
数字孪生，把公司系统搬进评测环境
Plurai 这家刚拿到 1300 万美元种子轮的公司，做法直接抄自动驾驶的作业。Team8 领投，U&I、Velocity、Mercer 跟投。它的核心动作是给你公司的电子系统造一个数字孪生：知识库、工具、接口全部在仿真环境里复刻一份，agent 将要面对的生产环境被整个搬进了评测场。
有了这个副本，下一步是把 agent 所有可能的行动路径画成一张图。每个分支就是一个可能的事故点，每个交汇就是一个可能的信息纠缠点。评测不再是随机抽题，而是沿着这张图系统性地走完每条路径。
重点在于边界场景。正常路径谁都能走通，真正区分可靠性的是那些低频但致命的角落：用户突然改需求、上游接口超时、两条业务规则互相冲突。数字孪生的价值就是能批量制造这些角落，而不必等真实客户去踩。
这套平台被设计成与现有工具共存，Claude Code、Codex、Copilot、Cursor 都能接入。它不做你的 agent，它做你 agent 的考场。
对工程团队的启示是直接的：评测环境本身就是一项需要投入建设的基础设施，不是顺手为之的附属品。没有贴近生产的仿真环境，任何上线前的评测结论都要打问号。
数字孪生还有一个被低估的作用：让事故可以回放。生产事故一旦发生，把当时的状态搬进孪生环境重放，就能定位是模型漂移、数据问题还是流程缺陷，而不是对着日志猜。
自动驾驶行业早就付过这笔学费
Plurai 的两位创始人 Ilan Kadar 和 Elad Levi 都来自自动驾驶行业。Kadar 此前在 Nexar，再之前与 Waymo 合作做端到端驾驶软件的仿真与评测。他们转行做 agent 的理由，Kadar 自己说得很直白：看到 AI agent 浪潮时，看到的是同一个模式，做个 demo 很容易，做出可靠又划算的东西很难。
这句话自动驾驶行业花了十年才真正消化。早期的自动驾驶 demo 同样惊艳，封闭场地里行云流水，一上开放道路就事故不断。行业最后走出的路不是堆更大的模型，而是堆仿真：用合成数据造出几百万个现实中几年都遇不到一次的边界场景，让系统在虚拟世界里把学费交完。
agent 行业正在原样重走这条路。今天的 agent demo 和当年的自动驾驶 demo 处境一模一样，而答案大概率也是同一个：仿真环境、合成边界、系统性评测。不同之处在于，agent 的测试场比道路便宜得多，一个下午就能搭起来。
这笔学费的数额是已知的，因为别人已经交过了。自动驾驶行业还教会了评测另一课：里程数没有意义，场景覆盖才有意义。一百万英里晴天高速的价值，不如一万次雨天夜路加施工绕行。agent 评测同理，一万次顺利问答不如一百次精心构造的对抗场景来得有信息量。这个认知转变，自动驾驶行业花了好几年时间和昂贵的代价才完成。
选择无非是照抄，还是亲自再交一遍。
一个成功率数字，本身就说明不了什么
看到 76.8% 这样的数字，工程直觉应该立刻追问样本量。100 个任务里成功 76 个，和一万个任务里成功 7680 个，是两个完全不同强度的证据。前者在统计学上根本定不住结论。
判断这类数字的标准做法是给出置信区间。对任务成功率这种二项分布指标，Wilson 区间是常用工具，几行代码就能算：
python
import math
def wilson_interval(k, n, z=1.96):
if n == 0:
return (0.0, 0.0)
p = k / n
d = 1 + z * z / n
center = (p + z * z / (2 * n)) / d
half = (z * math.sqrt(p * (1 - p) / n + z * z / (4 * n * n))) / d
return (center - half, center + half)
lo, hi = wilson_interval(76, 100)
print(f"{lo:.3f} ~ {hi:.3f}")跑一下就知道，100 个任务拿 76.8% 的成功率，95% 置信区间宽得吓人。把这个区间拉进评测报告，很多看起来漂亮的成绩立刻原形毕露。
这个习惯的价值超出评测本身。当你开始要求所有成功率报告都带样本量和区间，供应商的演示话术就自动失效了。数字不再能唬人，讨论被迫回到证据强度上。
区间宽到底意味着什么？意味着你无法区分 70% 和 82% 的两个供应商，它们的置信区间高度重叠，选谁都是掷硬币。也意味着一次演示跑出的 90% 成功率，区间可能从 70% 一路盖到 98%，什么结论都推不出来。要把区间收到能做决策的宽度，样本量至少要上到几百这个量级，这正是系统性生成测试用例成为刚需的原因，手工攒不出几百个有代表性的边界场景。
还有一条实用规则：成功率越接近五成，需要的样本越多；越接近满分，越不能只看成功率，要转而清点失败案例的类型。零失败的一百次测试证明不了可靠，只能证明你的测试集还不够难。
分数之外，它真正想卖的生意
评测只是入口，Plurai 真正的野心在后面：用仿真过程收集到的数据，为每个客户后训练一个专属的小尺寸开源模型。官方与 Nvidia、Nebius 合作的测试显示，这些定制小模型的表现超过了中端的前沿模型。
这个商业逻辑很顺。仿真环境造出来了，边界场景数据攒下来了，顺手就能把通用模型蒸馏成贴合你业务的小模型。成本降一档，可靠性升一档，数据还留在自己手里。
对客户来说这意味着一个转变：模型选型不再是买个最大最贵的，而是用自己的失败案例喂出一个最懂行的。评测数据从质检报告变成了训练资产，评测的花费从成本中心变成了投资。
这也是整条链路里最值得盯的一段。如果后训练小模型这条路被验证，agent 经济学的账本就要整个重算，因为生产环境要的从来不是最聪明的模型，而是最懂这条产线的模型。
这条路径对成本敏感的团队参考价值更大。开源小模型本来就便宜，后训练数据又来自自家仿真环境，不依赖任何厂商的私有数据。当通用大模型的调用费按量持续烧钱时，一个针对自家流程后训练的小模型就是一笔固定资产，一次投入长期摊销。评测、仿真、后训练串成一条链之后，成本结构从变量变成折旧，这才是可规模化的生意形态。
给自己的 agent 做体检的最小动作
把上面的东西压缩成可执行动作，其实只需要三步。先从自己的真实业务里挑二十个最常被用到的任务流，写成可重复运行的测试集；再人为注入三类边界：预算或权限约束、多数据源组合、超长上下文；最后用带置信区间的方式报告成功率。
| 评测方式 | 环境 | 测到的东西 | 测不到的东西 |
|---|---|---|---|
| 公开榜单 | 通用任务集 | 模型的通用能力上限 | 你的业务边界 |
| 模拟企业环境 | 仿真通用公司 | 组合任务的大致表现 | 你的具体规则与数据 |
| 自建数字孪生 | 自家系统副本 | 真实边界场景的通过率 | 没有，这就是终点形态 |
三种方式不是替代关系，而是递进关系。榜单用来初筛候选模型，模拟环境用来横向比较，数字孪生用来做上线前的最终判决。跳过后两步直接拿榜单数字做生产决策，等于拿别人的体检报告给自己开刀。
动手窗口就在现在。评测工具链刚刚成型，早一步把自家系统的数字孪生搭起来的人，会比追模型版本号的人更快拿到可靠的 agent。毕竟模型每三个月换一茬，而你的业务流程几年都不会变，把评测资产建在流程上，才是只涨不跌的投资。执行时别追求一步到位：第一周先跑通二十个流程的一遍基线，第二周再加边界场景，滚动迭代比一次铺满更现实。