构建一个 AI Agent 并不难。真正困难的是：如何证明它到了生产环境里依然可靠、有效，而且每次修改之后不会悄悄变差。
如果你想把一个"几个小时搓出的Demo"变成真正能上线的 AI 系统，就不能再靠"我试了几个问题，感觉回答不错"。你需要建立一套系统化、可重复、可量化的 AI 评估体系。
尤其要记住一点：一个模型即使在公开排行榜上名列前茅，也完全可能在你的实际业务中表现糟糕。
为什么 LLM 和 Agent 更难评估？
传统机器学习的评估更像"批改选择题"：答案通常非常明确。预测对了就是对了，错了就是错了，很容易通过准确率等指标衡量。
LLM 和 Agent 则更像"批改作文"。同一个问题可能存在几十种甚至几百种正确回答。对于 Agent 来说，情况更加复杂：不仅要看最后答案，还可能要检查它查了什么资料、调用了哪些工具、执行顺序是否正确。
在评估LLM和Agent时，不能只准备一个"标准答案"，更重要的是设计一套明确的评分规则（Rubric）：什么算好？什么算错？错到什么程度？
评估的核心，就是把模糊的"这个回答感觉不错"，变成明确的"它为什么好、好在哪里、能得多少分"。
AI 评估指标主要有三类
不要从指标列表里随便挑几个就开始测试。不同指标适合解决不同的问题，常见的评估指标可以分成三类：
- 文字匹配指标（BLEU、ROUGE）：比较生成内容和参考答案有多少文字重合。优点是快、便宜，缺点是"不理解意思"。例如"订单已经取消"和"已为你取消订单"意思基本相同，但文字并不完全一致。
- 语义指标（如 BERTScore）：不只看文字是否相同，而是比较两段内容表达的意思是否接近，因此更适合处理同义表达和改写。
- LLM-as-a-Judge：让另一个能力较强的 LLM 按照事先制定的评分规则充当"裁判"。它适合评估开放式回答和复杂 Agent 流程，因为这类任务通常没有唯一的标准答案。
无论采用哪种方法，实际业务中通常需要重点关注几个核心指标：相关性------有没有真正解决用户的问题；忠实性（Groundedness）------回答是否有数据或检索内容作为依据，有没有产生幻觉；正确性------关键事实、数字或执行结果是否正确；连贯性------内容是否逻辑清楚、结构合理、容易阅读。
先建立 Ground Truth，再决定测什么
不要一开始就纠结"应该用 BLEU 还是 BERTScore"。在选择指标之前，更重要的是先建立自己的 Ground Truth Dataset，也就是一套可以反复使用的"标准测试集"。
初期可以整理 50～100 个高质量测试案例，包括正常业务场景、容易出问题的边界场景，以及过去发生过的严重错误。
例如，一个客服 Agent 的测试集不能只有"如何退款""如何修改地址"这样的常规问题，还应该包含资料缺失、用户描述模糊、规则冲突、异常订单等棘手情况。
然后从这些案例反推真正重要的指标。如果业务最怕 AI 编造信息，就重点测忠实性；如果 Agent 负责调用 API，就重点检查工具选择、参数和执行结果；如果响应速度影响体验，就把延迟加入评估。
不是"有什么指标就测什么"，而是"业务最怕什么出错，就重点测什么"。
怎么给 AI 打分？
完全依赖人工检查很难规模化。假设每修改一次 Prompt 都要人工检查几百条 Agent 执行记录，开发效率很快就会下降。
因此，更实际的做法是组合多种评分机制：
- 代码级评估（Code-based Evals） ：用程序做确定性检查（如 JSON 格式正确性、响应延迟、精准数值）。成本极低、瞬间完成，属于强制必做的基础关卡。
- 大模型裁判（LLM-as-a-Judge） ：利用最顶尖的模型进行大规模"作文打分"。注意：需要严密防范模型对文本长度和位置顺序的偏见。
- 用户真实反馈（User Evals） ：生产环境中的真实信号（如点赞/点踩）。这是终极检验标准，但噪声较大且属于事后指标。
- 人工评估（Human Evals） ：不可规模化但效果最准的"金标准"。仅用于对小样本做定期抽样与校准。
一个简单的原则是：能用代码判断的，优先用代码；代码无法判断的，再交给 LLM；对于重要或高风险场景，再加入人工审核和校准。
将 AI 评估融入 CI/CD 自动化流程
评估不是上线前跑一次的"验收清单"，而是持续集成（CI/CD）的自动化闭环：
- 建立基线（Establish Baseline） ：在基准数据集上运行当前系统，记录初始指标。 "感觉不错"不是数据，确切的数字才是数据。
- 失败归因分析（Analyze Failures） ：遇到指标下降，归类定位根因：到底是 RAG 检索质量差 、输出格式错误 ，还是 Agent 调错了工具？
- 修复与回归测试（Fix and Regress） ：打上补丁后，立即重新运行整个测试集，确保在修复 A 问题的同时，没有悄悄破坏原本正常的 B 场景。
总结：彻底摆脱"凭感觉猜效果"的泥潭，建立一套"可测量、可定位、可回归"的 AI 评估管道，才是将Demo转化为工业级 production 系统的必经之路。