给Agent出一张考卷:Benchmark到底该怎么选、怎么造
《Agent测试修炼手册》第4篇 | 系列共15篇
你的 Agent 到底行不行,不能靠老板随手问两句就下结论。
摘要
上一篇我们证明了"手写几个case就测完了"是幸存者偏差的陷阱。这篇正面回答:那到底该怎么系统化地评测一个 Agent?本文对比公开 Benchmark 和自建业务 Benchmark 两条路,给出一张选型决策树和一份可直接套用的自建评测条目模板,并特别拎出一个容易被忽视、却足以摧毁评测可信度的问题:数据污染与"虚假安全感"。
"随口问两句"和"系统化评测"之间的巨大鸿沟
很多团队对 Agent 能力的判断,停留在"老板问了三个问题,都答得不错,应该可以上线"的水平。这和开车上路前只检查了"喇叭响不响、雨刷动不动"就宣布车辆可以出厂一样------听起来做了检查,实际上离"系统化"差了十万八千里。
真正靠谱的判断,需要一张"考卷"------一套标准化、可重复运行、覆盖面明确的测试任务集合,这就是 Benchmark。问题是:市面上已经有不少公开 Benchmark,自己还要不要造一套?这篇就来把这件事讲清楚。
公开 Benchmark 盘点:各自适用什么场景
Agent 领域这两年涌现了一批专门针对"Agent 能力"(而不是纯语言能力)设计的公开 Benchmark,挑几个最具代表性、适用场景差异明显的说清楚:
- AgentBench(清华 THUDM):覆盖操作系统、数据库、知识图谱、数字卡牌游戏、横向推理等多种环境的综合性 Agent 能力评测集,适合验证"通用 Agent 能力"的基线水平。
- τ-bench / τ²-bench (Sierra):模拟电商/零售客服场景,一个很有意思的设计取舍是------它只比较任务完成后的数据库终态,不比较中间对话过程。这意味着它关心"结果对不对",不关心"怎么做到的",适合验证客服类 Agent 的任务完成率。
- WebArena / VisualWebArena:在真实网页环境中测试 Agent 完成导航、表单填写、信息检索等任务的能力,适合验证需要操作网页的 Agent(如自动化办公助手)。
- GAIA:一套需要多步推理、工具使用、多模态理解才能解答的通用助手评测集,难度较高,适合验证"通用智能助手"级别的综合能力。
- SWE-bench:专门针对代码 Agent 设计,让 Agent 解决真实 GitHub 仓库里的 issue,适合验证编程类 Agent。
- BFCL(Berkeley Function-Calling Leaderboard):专注评测"函数调用/工具调用"这一个能力点本身------参数是否填对、是否选对了函数,适合在你怀疑"工具调用能力"是瓶颈时单独验证。
- Mind2Web:针对真实网站上的通用任务(跨数千个网站)评测 Agent 的网页操作泛化能力。
一句话选型建议:如果你的 Agent 是客服类,先看 τ-bench;是网页操作类,看 WebArena/Mind2Web;是代码类,看 SWE-bench;怀疑是工具调用这一层能力不够,单独用 BFCL 验证;想做一次"通用能力摸底",用 AgentBench 或 GAIA。
公开 Benchmark 的能力边界:为什么大多数团队最终都要自建
公开 Benchmark 的价值在于验证基础能力------它们经过了学术界或开源社区的严格设计和审查,能告诉你"这个 Agent 在通用场景下的能力大概处于什么水位"。
但它们几乎不可能覆盖你的具体业务。τ-bench 模拟的是通用电商客服场景,不会包含你公司特有的退款规则、会员等级体系、物流商专属话术。换句话说,公开 Benchmark 测的是"及格线",自建 Benchmark 测的才是"你的业务到底行不行"。这也是为什么几乎所有把 Agent 真正用到生产环境的团队,最终都会走上"自建业务 Benchmark"这条路------这不是重复建设,而是两种 Benchmark 回答的是不同层次的问题。
自建 Benchmark 的最小方法论
自建 Benchmark 不需要一开始就追求完美,但要把两件事做对:
任务分布设计:参照上一篇讲的"幸存者偏差"自查方法,从真实用户日志里按比例抽样,而不是凭空想象。确保覆盖高频场景、中频场景和若干已知的长尾痛点场景,比例大致匹配真实流量分布。
标注一致性:如果多个人参与标注"预期输出",需要有一份简单的标注规范(哪怕只是一页纸),避免同样的任务被不同标注者给出不一致的"正确答案"定义。这部分涉及的统计方法(如标注者间一致性系数)属于更专业的研究方法论,这里不展开,知道"要关注一致性"这件事本身就够用了。
⚠️ 必须讨论:数据污染与"虚假安全感"
这是整篇最容易被忽略、却最危险的部分:跑了 Benchmark,不等于测试到位。
三个具体风险:
- 训练集污染(Data Contamination):如果你使用的底层模型的训练数据里恰好包含了某个公开 Benchmark 的题目(或者非常相似的变体),模型可能不是"真的会做",而是"见过类似答案"。跑分很高,不代表能力真的强。
- 过拟合(Overfitting to Benchmark):如果团队长期盯着同一套 Benchmark 反复调优 Prompt,很容易把 Agent 调成"擅长应付这套题"而不是"擅长解决真实问题"------这和学生"刷题刷到会背答案,却不理解原理"是同一个道理。
- 生产分布漂移:即便当前 Benchmark 和生产分布高度吻合,业务迭代、用户习惯变化都会让这份吻合度逐渐下降,Benchmark 需要定期用新的生产数据刷新,不能"造一次用一年"。
正确的心态是:Benchmark 分数是一个重要的参考信号,但不是"测试到位"的证书。跑出高分之后,仍然需要过程评估(第5-8篇)、安全测试(第11-12篇)和生产监控(第9-10、14篇)的层层把关。
实现方案
图示类型:架构图 + 决策树(Benchmark 选型决策 + 自建数据条目结构)
#mermaid-svg-VaeVo2d5u5UV1gwc{font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:16px;fill:#333;}@keyframes edge-animation-frame{from{stroke-dashoffset:0;}}@keyframes dash{to{stroke-dashoffset:0;}}#mermaid-svg-VaeVo2d5u5UV1gwc .edge-animation-slow{stroke-dasharray:9,5!important;stroke-dashoffset:900;animation:dash 50s linear infinite;stroke-linecap:round;}#mermaid-svg-VaeVo2d5u5UV1gwc .edge-animation-fast{stroke-dasharray:9,5!important;stroke-dashoffset:900;animation:dash 20s linear infinite;stroke-linecap:round;}#mermaid-svg-VaeVo2d5u5UV1gwc .error-icon{fill:#552222;}#mermaid-svg-VaeVo2d5u5UV1gwc .error-text{fill:#552222;stroke:#552222;}#mermaid-svg-VaeVo2d5u5UV1gwc .edge-thickness-normal{stroke-width:1px;}#mermaid-svg-VaeVo2d5u5UV1gwc .edge-thickness-thick{stroke-width:3.5px;}#mermaid-svg-VaeVo2d5u5UV1gwc .edge-pattern-solid{stroke-dasharray:0;}#mermaid-svg-VaeVo2d5u5UV1gwc .edge-thickness-invisible{stroke-width:0;fill:none;}#mermaid-svg-VaeVo2d5u5UV1gwc .edge-pattern-dashed{stroke-dasharray:3;}#mermaid-svg-VaeVo2d5u5UV1gwc .edge-pattern-dotted{stroke-dasharray:2;}#mermaid-svg-VaeVo2d5u5UV1gwc .marker{fill:#333333;stroke:#333333;}#mermaid-svg-VaeVo2d5u5UV1gwc .marker.cross{stroke:#333333;}#mermaid-svg-VaeVo2d5u5UV1gwc svg{font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:16px;}#mermaid-svg-VaeVo2d5u5UV1gwc p{margin:0;}#mermaid-svg-VaeVo2d5u5UV1gwc .label{font-family:"trebuchet ms",verdana,arial,sans-serif;color:#333;}#mermaid-svg-VaeVo2d5u5UV1gwc .cluster-label text{fill:#333;}#mermaid-svg-VaeVo2d5u5UV1gwc .cluster-label span{color:#333;}#mermaid-svg-VaeVo2d5u5UV1gwc .cluster-label span p{background-color:transparent;}#mermaid-svg-VaeVo2d5u5UV1gwc .label text,#mermaid-svg-VaeVo2d5u5UV1gwc span{fill:#333;color:#333;}#mermaid-svg-VaeVo2d5u5UV1gwc .node rect,#mermaid-svg-VaeVo2d5u5UV1gwc .node circle,#mermaid-svg-VaeVo2d5u5UV1gwc .node ellipse,#mermaid-svg-VaeVo2d5u5UV1gwc .node polygon,#mermaid-svg-VaeVo2d5u5UV1gwc .node path{fill:#ECECFF;stroke:#9370DB;stroke-width:1px;}#mermaid-svg-VaeVo2d5u5UV1gwc .rough-node .label text,#mermaid-svg-VaeVo2d5u5UV1gwc .node .label text,#mermaid-svg-VaeVo2d5u5UV1gwc .image-shape .label,#mermaid-svg-VaeVo2d5u5UV1gwc .icon-shape .label{text-anchor:middle;}#mermaid-svg-VaeVo2d5u5UV1gwc .node .katex path{fill:#000;stroke:#000;stroke-width:1px;}#mermaid-svg-VaeVo2d5u5UV1gwc .rough-node .label,#mermaid-svg-VaeVo2d5u5UV1gwc .node .label,#mermaid-svg-VaeVo2d5u5UV1gwc .image-shape .label,#mermaid-svg-VaeVo2d5u5UV1gwc .icon-shape .label{text-align:center;}#mermaid-svg-VaeVo2d5u5UV1gwc .node.clickable{cursor:pointer;}#mermaid-svg-VaeVo2d5u5UV1gwc .root .anchor path{fill:#333333!important;stroke-width:0;stroke:#333333;}#mermaid-svg-VaeVo2d5u5UV1gwc .arrowheadPath{fill:#333333;}#mermaid-svg-VaeVo2d5u5UV1gwc .edgePath .path{stroke:#333333;stroke-width:2.0px;}#mermaid-svg-VaeVo2d5u5UV1gwc .flowchart-link{stroke:#333333;fill:none;}#mermaid-svg-VaeVo2d5u5UV1gwc .edgeLabel{background-color:rgba(232,232,232, 0.8);text-align:center;}#mermaid-svg-VaeVo2d5u5UV1gwc .edgeLabel p{background-color:rgba(232,232,232, 0.8);}#mermaid-svg-VaeVo2d5u5UV1gwc .edgeLabel rect{opacity:0.5;background-color:rgba(232,232,232, 0.8);fill:rgba(232,232,232, 0.8);}#mermaid-svg-VaeVo2d5u5UV1gwc .labelBkg{background-color:rgba(232, 232, 232, 0.5);}#mermaid-svg-VaeVo2d5u5UV1gwc .cluster rect{fill:#ffffde;stroke:#aaaa33;stroke-width:1px;}#mermaid-svg-VaeVo2d5u5UV1gwc .cluster text{fill:#333;}#mermaid-svg-VaeVo2d5u5UV1gwc .cluster span{color:#333;}#mermaid-svg-VaeVo2d5u5UV1gwc div.mermaidTooltip{position:absolute;text-align:center;max-width:200px;padding:2px;font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:12px;background:hsl(80, 100%, 96.2745098039%);border:1px solid #aaaa33;border-radius:2px;pointer-events:none;z-index:100;}#mermaid-svg-VaeVo2d5u5UV1gwc .flowchartTitleText{text-anchor:middle;font-size:18px;fill:#333;}#mermaid-svg-VaeVo2d5u5UV1gwc rect.text{fill:none;stroke-width:0;}#mermaid-svg-VaeVo2d5u5UV1gwc .icon-shape,#mermaid-svg-VaeVo2d5u5UV1gwc .image-shape{background-color:rgba(232,232,232, 0.8);text-align:center;}#mermaid-svg-VaeVo2d5u5UV1gwc .icon-shape p,#mermaid-svg-VaeVo2d5u5UV1gwc .image-shape p{background-color:rgba(232,232,232, 0.8);padding:2px;}#mermaid-svg-VaeVo2d5u5UV1gwc .icon-shape .label rect,#mermaid-svg-VaeVo2d5u5UV1gwc .image-shape .label rect{opacity:0.5;background-color:rgba(232,232,232, 0.8);fill:rgba(232,232,232, 0.8);}#mermaid-svg-VaeVo2d5u5UV1gwc .label-icon{display:inline-block;height:1em;overflow:visible;vertical-align:-0.125em;}#mermaid-svg-VaeVo2d5u5UV1gwc .node .label-icon path{fill:currentColor;stroke:revert;stroke-width:revert;}#mermaid-svg-VaeVo2d5u5UV1gwc :root{--mermaid-font-family:"trebuchet ms",verdana,arial,sans-serif;} 贴近,如代码/网页操作/函数调用
不贴近,是自有业务流程
任务是否贴近公开Benchmark场景?
直接复用公开Benchmark验证基础能力
自建业务Benchmark
AgentBench/τ-bench/WebArena/GAIA/SWE-bench/BFCL/Mind2Web 按场景选择
从真实日志抽样+人工标注构建任务分布
⚠️检查数据污染/过拟合风险
上线前最终评测集
这张决策树的核心提示是:选公开 Benchmark 和自建 Benchmark 不是"二选一",而是"并且"------大多数团队最终会同时拥有两套评测集,一套用来验证基础能力下限,一套用来验证业务正确性,而无论用哪种,都要经过"数据污染/过拟合检查"这一关。
自建 Benchmark 时,一条数据应该长什么样?下面是一份可以直接套用的 JSON Schema 示例:
json
{
"case_id": "biz-0001",
"input": "帮我把上周的退款订单导出成excel",
"expected_tool_calls": ["query_orders", "export_excel"],
"expected_outcome_check": "返回文件包含上周日期范围内的退款订单",
"source": "prod_log_sample",
"difficulty": "medium",
"tags": ["多工具调用", "时间范围解析"]
}
几个字段值得解释一下设计用意:expected_tool_calls 不只是记录"最终答案",还记录了"应该走的工具调用路径"------这为下一篇要讲的轨迹评估预留了数据基础;source 字段明确标记这条数据来自真实生产日志采样,而不是凭空编写,呼应上一篇讲的幸存者偏差自查;tags 字段方便你按能力维度(比如"多工具调用""时间范围解析")切片分析,知道 Agent 具体在哪一类任务上弱。
结尾小结
Benchmark 只是整套测试体系的"离线地基"------它告诉你 Agent 大概行不行,但还没回答一个更细致的问题:Agent 答案对不对背后,走的路对不对?同样是"答对了",有的是老老实实查了数据库算出来的,有的是蒙的。下一篇,我们就来讲怎么揪出"蒙对答案"这种更隐蔽的问题------轨迹评估。
上一篇思考题参考答案
重合度低是常态------这是因为公开 Benchmark 的价值在于验证基础能力(比如工具调用语法、通用推理能力),而业务正确性永远需要靠自建业务 Benchmark 补齐,两者不是替代关系而是互补关系。但无论用哪种 Benchmark,都只能验证"答案对不对"这一个维度,看不出中间走的路对不对------这正是本篇遗留、下一篇轨迹评估要解决的问题。
本篇思考题
选一个公开 Benchmark(如 BFCL 或 WebArena),看看它的任务分布和你自己业务场景的重合度有多高?如果重合度很低,你打算怎么办?
11.14