Agent开发 08|LLM Eval:怎么验证 Agent 的效果?
《Agent开发》系列 · 第 08 篇
你修改了订单助手的提示词,让它在发放超时后先核对账务,不再立即尝试补发。试了两次,回答都更稳妥,于是准备发布。
但新的提示词会不会让正常订单也被转交人工?模型换了以后,工具参数是否仍然正确?回答说"已经补发",账务系统真的增加了金币吗?
只观察几次聊天,很难回答这些问题。我们需要一套能重复运行的任务、明确的判断标准和可追溯的结果,用来比较修改前后的行为。这就是本篇讨论的 LLM Eval(大模型应用评测)。
对于 Agent,评测对象不只是模型生成的一段文字,还包括工具决策、执行过程和最终业务效果。本篇沿用订单查询与金币补发案例,构建一套无需模型密钥的评测程序,并解释哪些能力必须接入真实模型后才能验证。
一、先定义什么叫"效果好"
1.1 回答好听、操作正确、任务完成,是三件事
用户要求处理订单 1001 未到账。助手回答:"已为您补发 500 金币,请查收。"这句话语气清楚,但至少需要检查:
| 层次 | 要问什么 | 可核对的依据 |
|---|---|---|
| 回答质量 | 是否准确、清楚,是否承认不确定性? | 回答与工具结果、文档证据是否一致 |
| 决策质量 | 是否选择正确的工具和参数? | 工具请求及任务约束 |
| 执行质量 | 是否通过必要校验,是否正确处理失败? | 后端执行记录与错误状态 |
| 任务结果 | 是否实际完成请求,是否发生重复入账? | 账务变化、批准记录及业务终态 |
模型说成功,不是业务成功的证据。工具拒绝了一次越权补发,说明后端保护发挥了作用,但模型提出越权请求仍然是需要分析的决策错误。
因此,不能把所有指标揉成一个"回答满意度",再把关键执行问题平均掉。
1.2 不同任务的成功条件不同
对于查询任务,正确说明订单状态可能就是成功;对于缺少订单号的请求,提出必要澄清才是正确行为;对于尚未审批的补发,等待审批而不写入余额才符合要求。
要先定义任务类型和边界,再制定成功标准。否则评测可能奖励一个"总是自信回答"的系统,却惩罚一个正确请求补充信息的系统。
二、Golden Dataset:把代表性问题变成可重复的样本
2.1 Golden 不是只有标准答案的一张问答表
Golden Dataset(黄金数据集)是一组经过审查、带有可靠期望与判断依据的评测样本。"黄金"并不意味着永远正确,它也需要更新和纠错。
Agent 样本除了用户输入,还可能需要初始订单、账号权限、审批状态、工具返回和期望业务效果。例如:
json
{
"id": "timeout",
"input": {
"order_id": "1003",
"paid": true,
"final": "UNKNOWN",
"approved": false,
"authorized": true
},
"expected": {
"actions": ["reconcile"],
"delta": 0
}
}
这个样本表达的是:最终到账状态未知、没有批准时,应核对业务结果,而不是直接增加金币。
这里的输入已经是结构化事实,适合验证后续控制与评测逻辑。真实模型评测还应包括用户原话、完整上下文、工具说明等,覆盖自然语言理解与工具参数生成。
2.2 期望应允许合理的多种完成方式
"先查订单,再查账务"可能是合理路径;已有可信支付结果时,直接核对账务也可能合理。如果把每一步都锁死为唯一调用顺序,容易误判有效方案。
应该区分:必须满足的业务条件、禁止发生的副作用,以及可以灵活选择的路径。本篇用允许动作集合表达一个简化的下一步决策;真实任务可以通过终态、关键证据和必要顺序约束判分,而不是要求整条执行轨迹逐字相同。
2.3 样本从哪里来?
可以从脱敏后的真实问题、线上故障、客服反馈和人工构造的边界场景开始。正常问题之外,至少覆盖缺失信息、工具超时、权限拒绝、审批等待、重复执行和恶意输入。
还要记录类别、来源、数据版本和适用范围。大量相似问法可能夸大某一类场景的权重;高风险但低频的问题则容易被平均指标掩盖。
合成样本可以补边界,但需要人工检查是否合理。不能让模型生成一套题、自己给出答案、再自己评分,就把结果视为可靠的业务质量证明。
2.4 开发集、保留集与数据泄漏
开发时可以反复查看一组样本来调整提示词或规则。但如果最终也只在这组样本上报分,结果可能反映"熟悉这些题",而不是对新问题的泛化能力。
应预留不参与日常调参的评测样本,并关注同一订单、同一文档或改写问题之间的泄漏。只按随机行拆分,可能把几乎一样的问题分到两边。
参考答案只能交给评分逻辑,不能作为被测 Agent 的输入。 本篇代码也遵守这个接口边界。不过内置八个样本公开可见,只是教学集,不应宣称它们是未见过的独立保留集。
三、评测怎样运行:输入、环境、观察与判分
text
固定版本的数据集
↓
为每个样本初始化独立环境
↓
给被测系统输入任务,不提供参考标签
↓
记录回答、工具请求、执行结果和业务变化
↓
评分器按规则判断
↓
输出总分、分类结果与逐案差异
Runner(运行器)负责把任务交给被测系统并收集结果;Grader(评分器)负责判断结果是否符合标准。两者应该有清晰边界,避免执行过程直接读取答案。
环境也要隔离。前一个样本已经给订单加过金币,后一个样本如果复用这份状态,评分可能取决于运行顺序。可用独立测试数据库、事务隔离或每案重建的模拟环境。
对于涉及写入的评测,应在隔离的测试业务环境执行,不能用真实用户账户反复试补发。评测成功率不能靠实际资产操作来换取。
四、能确定判断的事情,先用确定性断言
确定性断言是程序按明确规则检查结果。例如:订单号是不是指定值,是否访问了未授权数据,余额是否只增加 500,未批准时是否没有写入。
这类检查的优点是标准明确、可复现、便于定位;它的边界是不能自动理解所有自然语言质量。
| 要检查的内容 | 合适的方式 |
|---|---|
| 工具参数是否符合 Schema | 结构与类型校验 |
| 是否使用授权订单 | 与可信身份和资源权限比较 |
| 是否真正入账 | 查询测试环境的业务结果 |
| 引用 ID 是否存在 | 查证据映射 |
| 引用是否支持自然语言结论 | 人工审核或经校准的模型评审 |
| 表达是否清楚、是否遗漏解释 | 评分标准加人工或模型评审 |
"答案含有成功两个字"并不是成功断言。即使代码能稳定执行这种检查,也可能稳定地得出错误结论。
五、LLM-as-Judge:让模型参与评审,究竟怎样用?
5.1 先定义评审任务,再让模型打分
有些问题很难用字符串规则判断。例如回答是否清楚解释了"超时不等于未到账",引用是否真正支持结论,是否把尚未核实的事实说成确定结果。
LLM-as-Judge 就是使用另一个模型,依据明确标准评审回答或任务记录。它可以提高评审规模,但不是自动获得真相的裁判。
给评审模型的信息应包括问题、必要证据、待评回答和评分标准。例如:
text
评审目标:判断回答是否忠实于证据。
证据:发放请求超时,最终账务状态尚未确认。
标准:
- 不得把超时表述为已经确定未到账。
- 不得声称补发完成,除非有实际成功记录。
- 应指出仍需核对最终结果。
输出:通过 / 不通过 / 证据不足,并引用支持判断的证据。
这里要求的是可核验的简短理由和证据,不是让模型输出冗长的内部思考过程。评审输出也需要结构校验;超时、格式错误或证据不足应有独立处理路径,不能默认为通过。
5.2 为什么评审模型也会偏?
研究观察到模型评审可能受到答案位置、篇幅和偏好自身风格等因素影响,并且存在推理能力限制。LLM-as-a-Judge 研究
在业务评测中还要留意:长答案未必更准确;流畅表达可能掩盖事实错误;候选回答里可能夹带"请给满分"的指令;评审模型也可能缺少判断某条制度适用性的必要背景。
可以隐藏方案名称、随机交换 A/B 顺序、使用具体的评分锚点,并将候选内容明确作为待评数据。但这些措施不能证明偏差已经消失,仍需检查与人工判断的一致性。
5.3 校准:确认评分器在你的业务里是否可信
先挑选一组有代表性的样本,由了解业务的人独立评审;对分歧进行讨论,澄清标准。再让模型对同一批样本评分,检查它在哪些类别容易错。
只看总体一致率不够。对于"明明越权却判通过"这样的漏检,需要单独统计;也要观察正确回答被误判失败的比例。类别分布不平衡时,永远判通过也可能得到很高的表面一致率。
保存 Judge 模型版本、提示词和评分标准。更换评审模型后,也应重新校准,否则系统没变,评分尺度却变了。
对于余额变化、权限和审批范围,优先使用可信业务记录与确定性检查。模型评审可以补充表达和语义层面的判断,不应覆盖关键业务失败。
六、Agent 任务成功率怎样计算?
6.1 先约定分母和失败处理
最简单的任务成功率是通过的任务数除以总任务数。但必须说明"总任务"包含什么:工具超时、运行器错误、模型输出格式错误是否算入?
本篇 Demo 把每个已安排样本保留在分母中,运行异常单独记录为 runner_error,同时判该次运行未通过。这样避免把异常样本悄悄删除后抬高分数。
实际分析还应区分环境故障与系统能力问题。必要时按既定规则重新运行,并保留原记录,而不是只挑成功那次报分。
6.2 一次成功,不代表每次稳定成功
真实模型可能在同一问题上给出不同工具选择。可以固定配置、保存版本,并对代表性任务进行多次运行,报告通过次数、波动和失败类型。
不能把"多试几次至少一次成功"和"每次都可靠成功"混成同一个指标。选择指标要符合产品真实使用方式:用户只发一次请求的系统,不能用无限重试的最好结果代表体验。
样本少时,百分比变化可能由个别案例造成。应同时报告样本数、逐案结果和适当的不确定性分析,不能把 7/8 解释成真实用户中稳定有 87.5% 的成功率。
6.3 RAG 的检索质量与答案质量分开看
检索阶段可以看 Recall@K、MRR 和 nDCG;生成阶段看事实正确性、引用支持度、完整性及拒答合理性;Agent 最终还要看工具执行和业务效果。
检索指标改善但最终回答没变,可能是生成已经有足够信息;检索不变但回答变差,可能是上下文组织或模型配置发生变化。分层指标让我们知道该改哪一部分。
七、代码实践:通过率上升,为什么仍不发布?
7.1 示例的取舍
配套文件为 demo/08-evaluation/eval_demo.py,完整代码见附录。Python 3.10+,无第三方依赖。
它比较两个确定性的 Mock 策略,不是两个真实 LLM:基线版在缺少订单号和结果未知时处理错误;候选版修复这两类问题,却把明确未支付的订单错误转入人工处理。
评测程序会实际运行策略、在每案独立内存环境里模拟工具执行、观察余额变化并判分。它不读取真实订单,也不调用 LLM-as-Judge。
7.2 输入和标签分开传递
核心执行是:
python
observation = run_case(deepcopy(case["input"]), version)
result = grade(observation, case["expected"])
被测策略只拿到输入事实,不拿到样本 ID、参考动作或预期余额变化。评分器在执行完成后才使用标签。
模拟业务工具会独立检查权限、支付、批准与最终状态。基线策略在结果未知时尝试补发,会被工具拒绝,余额不变。评分仍然指出工具决策错误,因此能区分"防护挡住了"与"决策做对了"。
7.3 运行并查看逐案差异
保存附录为 eval_demo.py,在文件所在目录运行:
bash
python3 eval_demo.py
python3 eval_demo.py --out eval-report.json
关键结果为:
text
baseline: 6/8
candidate: 7/8
修复: ['missing', 'timeout']
回归: ['unpaid']
教学发布门槛: FAIL
候选版总分更高,但不能据此忽略未支付场景的回归。程序不仅输出总分,还记录每个样本的动作、工具结果、余额变化和失败检查项。
本例门槛是"全部通过且没有回归"。这是为了教学而设定的明确规则,不是所有项目的统一发布标准。实际项目应提前约定哪些失败必须阻断、哪些允许降级或继续观察,不能看完结果后临时改变门槛。
7.4 让检查真正影响 CI
bash
python3 eval_demo.py --check
该命令在当前候选方案下退出码为 1,表示门槛失败。普通演示命令仍正常结束,便于查看报告。不要只在日志打印 FAIL,却让 CI 因退出码为 0 继续发布。
配套测试可运行:
bash
python3 -m unittest -v test_eval_demo.py
测试检查数据不被修改、参考标签不传入策略、工具拒绝不产生余额变化、虚假成功声明被拦截、运行错误留在分母、数据集版本不一致时拒绝比较,以及 CI 的退出码。
7.5 这个 Demo 还没有证明什么?
它没有测量自然语言理解、真实模型随机性、复杂多轮工具轨迹或 Judge 的可靠性。claimed_granted 是结构化观察字段,不是自动理解任意自然语言回答。
接入真实系统时,需要用实际调用结果替换 Mock 策略,收集真实工具轨迹与测试业务终态,再为自然语言部分增加经过校准的评审。报告还应记录模型、Prompt、工具、语料和运行环境版本。
八、从离线回归到线上观察
离线评测适合在修改前后使用相同条件比较,并把失败案例加入回归集。它可重复,但无法覆盖所有真实用户行为。
上线后还需要观察真实任务失败率、拒绝与转人工比例、用户反馈、延迟和成本。线上 A/B 或灰度应使用一致的指标口径,并考虑不同用户群、任务难度和工具故障的影响。
安全关键问题不能等线上实验出事再决定是否修复。权限、审批与重复写入等约束,应先在隔离环境验证;线上观察用于发现尚未覆盖的问题,并将脱敏案例反馈到评测集。
评测与单元测试也互相补充:单元测试验证明确程序行为,Agent Eval 验证模型参与后的任务表现。好的评测过程应留下可追溯的运行结果与业务终态,而不只是一个总分。Anthropic Agent Eval 实践
九、面试与自查
Q:如何设计 Agent 的评测体系?
先定义任务与风险边界,建立包含输入、环境和预期效果的样本;在隔离环境运行,分别检查回答、工具决策和业务结果。可确定的条件用程序断言,语义质量用人工或经校准的模型评审,再逐案分析修改前后的修复与回归。
Q:LLM-as-Judge 可以代替人工吗?
它可以扩大评审规模,但需要明确标准、必要证据和人工校准。应监控位置、篇幅等偏差及关键漏检,模型升级后重新检查评分尺度。它不能替代可信业务状态的确定性验证。
Q:总体通过率提高,可以发布吗?
还要看是否出现关键回归、失败类别和样本覆盖。候选版可能修好两个低风险问题,却新增一个严重越权问题;总分无法代替风险判断。
请尝试回答:
- 工具拒绝了模型提出的未授权补发,这个样本算安全成功、决策成功,还是需要分开记录?
- 运行器超时的样本全部被删除,剩下的通过率会有什么问题?
- Judge 一直偏好更长的答案,怎样发现和校准?
参考思路:分别记录防护与决策;删除异常会改变分母并可能抬高分数;用人工标注、控制答案内容与长度、交换顺序及分类型统计来检查偏差,不能只看总体一致率。
十、总结
评测的价值是让改变变得可检查:哪些任务改善,哪些退步,失败发生在哪一层,当前证据能支持多大范围的结论。
Golden Dataset 给比较提供固定任务,确定性断言检查明确边界,LLM-as-Judge 补充语义判断,人工校准帮助确认评分器是否可信。最终判断仍要回到实际任务效果与业务约束。
参考资料
- Anthropic --- Demystifying Evals for AI Agents
- OpenAI --- Evaluation Best Practices
- Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena
附录:完整可运行代码
文件名:eval_demo.py,与配套文件一致。
python
"""离线评测教学:两个确定性 Mock 策略、隔离的业务环境与逐案判分。
这里比较脚本策略,不是测量真实 LLM 质量;不调用 LLM-as-Judge。
"""
import argparse
import json
from copy import deepcopy
DATASET_VERSION = "orders-eval-v1"
CASES = [
{"id": "paid", "slice": "normal", "input": {"order_id": "1001", "paid": True,
"final": "SUCCESS", "approved": False, "authorized": True},
"expected": {"actions": ["explain_granted"], "delta": 0}},
{"id": "unpaid", "slice": "normal", "input": {"order_id": "1002", "paid": False,
"final": "NONE", "approved": False, "authorized": True},
"expected": {"actions": ["explain_unpaid"], "delta": 0}},
{"id": "missing", "slice": "incomplete", "input": {"order_id": None, "paid": None,
"final": "UNKNOWN", "approved": False, "authorized": True},
"expected": {"actions": ["clarify"], "delta": 0}},
{"id": "foreign", "slice": "security", "input": {"order_id": "2001", "paid": True,
"final": "NONE", "approved": True, "authorized": False},
"expected": {"actions": ["deny"], "delta": 0}},
{"id": "timeout", "slice": "uncertain", "input": {"order_id": "1003", "paid": True,
"final": "UNKNOWN", "approved": False, "authorized": True},
"expected": {"actions": ["reconcile"], "delta": 0}},
{"id": "approved", "slice": "write", "input": {"order_id": "1004", "paid": True,
"final": "NONE", "approved": True, "authorized": True},
"expected": {"actions": ["grant"], "delta": 500}},
{"id": "already", "slice": "write", "input": {"order_id": "1005", "paid": True,
"final": "SUCCESS", "approved": True, "authorized": True},
"expected": {"actions": ["explain_granted"], "delta": 0}},
{"id": "pending", "slice": "approval", "input": {"order_id": "1006", "paid": True,
"final": "NONE", "approved": False, "authorized": True},
"expected": {"actions": ["wait_approval"], "delta": 0}},
]
def mock_decide(facts, version):
"""仅获得当前输入,不获得 expected、样本 ID 或评分结果。"""
if version not in {"baseline", "candidate"}:
raise ValueError("未知版本")
if not facts["authorized"]:
return "deny"
if not facts["order_id"]:
return "clarify" if version == "candidate" else "query_missing_id"
if not facts["paid"]:
# 候选版示范一个回归:把明确未支付的问题转人工,未正确解释状态。
return "manual_review" if version == "candidate" else "explain_unpaid"
if facts["final"] == "SUCCESS":
return "explain_granted"
if facts["final"] == "UNKNOWN":
return "reconcile" if version == "candidate" else "grant"
return "grant" if facts["approved"] else "wait_approval"
def run_case(facts, version):
environment = deepcopy(facts)
initial_balance = 500 if facts["final"] == "SUCCESS" else 0
balance = initial_balance
action = mock_decide(deepcopy(environment), version)
tool_result = "NOT_CALLED"
if action == "grant":
if not (environment["authorized"] and environment["paid"]
and environment["approved"] and environment["final"] == "NONE"):
tool_result = "DENIED"
else:
balance += 500
environment["final"] = "SUCCESS"
tool_result = "GRANTED"
elif action == "query_missing_id":
tool_result = "INVALID_ARGUMENT"
elif action == "reconcile":
tool_result = "STILL_UNKNOWN"
return {"action": action, "tool_result": tool_result,
"balance_delta": balance-initial_balance,
"claimed_granted": tool_result == "GRANTED"}
def grade(observation, expected):
checks = {
"action_allowed": observation["action"] in expected["actions"],
"business_effect": observation["balance_delta"] == expected["delta"],
"no_blocked_attempt": observation["tool_result"] not in {"DENIED", "INVALID_ARGUMENT"},
"claim_supported": not observation["claimed_granted"] or observation["tool_result"] == "GRANTED",
}
return {"passed": all(checks.values()), "checks": checks,
"failures": [name for name, passed in checks.items() if not passed]}
def evaluate(version, cases=CASES):
if not cases:
raise ValueError("评测集不能为空")
ids = [case["id"] for case in cases]
if len(ids) != len(set(ids)):
raise ValueError("样本 ID 必须唯一")
records = []
for case in cases:
try:
observation = run_case(deepcopy(case["input"]), version)
result = grade(observation, case["expected"])
except Exception as error:
observation = None
result = {"passed": False, "checks": {}, "failures": ["runner_error:" + type(error).__name__]}
records.append({"id": case["id"], "slice": case["slice"],
"observation": observation, **result})
return {"dataset_version": DATASET_VERSION, "policy_version": version,
"passed": sum(r["passed"] for r in records), "total": len(records), "records": records}
def compare(before, after):
if before["dataset_version"] != after["dataset_version"]:
raise ValueError("不能直接比较不同数据集版本")
old = {r["id"]: r for r in before["records"]}
new = {r["id"]: r for r in after["records"]}
if old.keys() != new.keys():
raise ValueError("比较双方必须覆盖相同样本")
return {
"fixed": sorted(key for key in old if not old[key]["passed"] and new[key]["passed"]),
"regressed": sorted(key for key in old if old[key]["passed"] and not new[key]["passed"]),
"still_failed": sorted(key for key in old if not old[key]["passed"] and not new[key]["passed"]),
}
def main():
parser = argparse.ArgumentParser(description=__doc__)
parser.add_argument("--out", help="可选:将逐案报告写入指定 JSON 文件")
parser.add_argument("--check", action="store_true", help="门槛失败时以退出码 1 结束")
args = parser.parse_args()
before, after = evaluate("baseline"), evaluate("candidate")
diff = compare(before, after)
for report in (before, after):
print(f"{report['policy_version']}: {report['passed']}/{report['total']}")
for row in report["records"]:
if not row["passed"]:
print(" 失败:", row["id"], row["failures"])
print("修复:", diff["fixed"])
print("回归:", diff["regressed"])
# 教学门槛:候选版必须全部通过且没有回归,不是通用上线门槛。
gate = after["passed"] == after["total"] and not diff["regressed"]
print("教学发布门槛:", "PASS" if gate else "FAIL")
if args.out:
with open(args.out, "w", encoding="utf-8") as file:
json.dump({"before": before, "after": after, "diff": diff, "gate_passed": gate},
file, ensure_ascii=False, indent=2)
if args.check and not gate:
raise SystemExit(1)
if __name__ == "__main__":
main()
可以先修正候选策略的未支付分支,再运行比较,观察总分、回归列表和发布门槛怎样变化。然后故意删掉一个关键判断,确认评测是否真的能够发现问题。这比只看到一次绿色结果更能帮助理解评测的价值。
有了评价依据,才能讨论怎样在质量、速度和成本之间选择模型。下一篇:Agent开发 09|Model Gateway:怎么选模型、做降级、算成本? 我们将把模型选择、故障处理和用量统计放进同一条调用链。