我整理了一套 Agent 测试教程:从入门、实战到自动化评测

最近一段时间,AI Agent 的落地速度明显加快。

以前,大模型应用更多是"你问一句,它答一句";现在,Agent 已经可以理解任务、拆解步骤、查询知识库、调用外部工具,并根据中间结果继续执行。

越来越多企业开始搭建自己的 Agent,或者直接基于 Dify、LangChain、LangGraph 等平台和框架开发智能应用。

但 Agent 能力越强,测试难度也越高。

传统软件的输入、处理逻辑和预期结果通常相对明确,而 Agent 的执行过程带有不确定性:同一个问题可能生成不同答案,也可能选择不同工具、采用不同执行路径。

一个看起来正确的最终答案,中间过程未必正确;一次测试通过,也不代表下一次仍然稳定。

所以,Agent 测试不能只检查"最终回答对不对",还要关注:

  • 是否正确理解了用户意图;

  • 是否检索到正确的知识内容;

  • 是否选择了正确的工具;

  • 工具参数和调用顺序是否合理;

  • 多轮对话中是否保持上下文一致;

  • 面对知识库未覆盖的问题,是否能够正确拒答;

  • Prompt、模型或知识库变更后,原有能力是否发生退化;

  • 输出是否存在幻觉、越权、提示词注入等风险。

Agent 真正进入业务之后,一次错误的判断还可能沿着执行链路不断放大。

因此,我们需要一套更适合智能体的质量验证方法。

这也是我开始输出「Agent 测试」系列文章的原因。目前已经发布了部分内容,并配套了可以直接练习的 Agent 项目、Prompt、知识库、测试数据和评测代码。后续还会继续更新。

这篇文章先不展开某个具体工具,而是带大家看一下:这套系列讲了什么,以及应该按照什么顺序学习。

第一阶段:先理解 Agent,再开始测试

要测试一个系统,首先要知道它是怎么工作的。

Agent 并不只是一个大模型。一个完整的 Agent 应用通常还会包含 Prompt、记忆、知识库、工具、工作流和观测链路等组件。

不同组件出现问题时,外部表现可能很相似,但真正的原因完全不同。

例如,一个客服 Agent 回答错误,可能是:

  • 模型理解错了用户意图;

  • Prompt 没有约束回答边界;

  • 知识库没有相关内容;

  • 文档切片不合理,导致关键信息被拆散;

  • 检索结果不准确;

  • 工具调用参数错误;

  • 多轮对话中使用了错误的历史信息。

因此,系列的第一部分会介绍 Agent 的核心概念、基本原理和主要组件,并从测试视角分析每个组件应该关注什么。

第二阶段:自己搭建一个可测试的 RAG Agent

只看概念,很难真正理解 Agent 测试。

所以这套系列提供了一个可以实际操作的客服 Agent 项目,并配套 Prompt 和知识库内容,带大家使用 Dify 完成搭建。

案例会涉及会员、发票、配送、支付、积分和优惠券等常见商城问题。

通过这个项目,可以完整体验:

  1. 创建 Agent 应用;

  2. 编写角色与任务 Prompt;

  3. 导入业务知识文档;

  4. 配置召回方式;

  5. 调试问答效果;

  6. 为后续测试准备接口和数据。

系列还会讲解知识库的配置与预处理。

因为很多 RAG 问题,根源并不在模型,而在文档本身。

如果文档中存在重复内容、冲突规则、超长段落、缺少上下文或失效信息,即使模型能力很强,也可能检索不到正确内容,或者根据错误内容生成答案。

因此,测试人员除了验证问答结果,还需要关注文档清洗、分段策略、召回配置和知识更新等环节

第三阶段:建立 Agent 的测试数据集

Agent 测试要想从"人工体验一下"走向可重复、可回归的工程化测试,首先需要一套稳定的测试数据。

这套数据通常被称为 Golden Set(黄金测试集)。

可以把它理解为专门用于 Agent 和 RAG 评测的"标准题库"。一条完整的数据不应只有用户问题。

这一步非常重要。评测工具只能帮助我们自动执行和统计,真正决定评测质量的,仍然是测试数据和评分标准。

第四阶段:使用 Promptfoo 做自动化评测

当测试数据准备完成后,下一步就是自动化执行。

系列中首先使用的是 Promptfoo。

Promptfoo 是一个面向大模型应用的开源评测工具,可以批量执行测试数据、对比不同模型或 Prompt,并通过断言判断结果是否符合预期。

我在教程中提供了完整的配置、脚本和测试数据,可以直接连接前面搭建的 Dify Agent 进行练习。

通过 Promptfoo,可以把原本依赖人工逐条提问的测试变成批量回归,并统一查看:

  • 用例通过率;

  • 失败原因;

  • 不同模型或 Prompt 的效果差异;

  • 响应耗时;

  • 关键字、规则和语义评测结果;

  • 安全测试结果。

第五阶段:用 LLM-as-Judge 评价开放式回答

传统断言擅长判断固定结果,例如状态码是否为 200、返回值是否包含某个字段。

但大模型的回答往往不是固定文本。

同一个问题,"7 天内可以退货"和"商品支持七日内申请退货"表达不同,含义却可能一致。只用字符串完全匹配,很容易误判。

这时就可以引入 LLM-as-Judge(大模型裁判):让另一个大模型根据预先定义的评分标准,对 Agent 的回答进行判断和打分。

第六阶段:用 Langfuse 建立可观测与回归能力

Agent 出现问题时,只看最终答案通常不够。

我们还需要还原完整执行过程:用户输入了什么、检索到了哪些内容、模型如何生成、调用了什么工具、每一步耗时多少。

Langfuse 是一个开源的 LLMOps 平台,可以记录 Agent 的 Trace 链路,并提供数据集管理、实验评测、Prompt 版本管理、Token 用量、耗时和成本统计等能力。

教程会带大家把 Langfuse 接入 Dify,并使用 Golden Set 进行批量实验。

第七阶段:使用 DeepEval 和 Ragas 评估 RAG

除了 Promptfoo 和 Langfuse,系列还介绍了 DeepEval 与 Ragas。

DeepEval 是面向大模型应用的开源评测框架,可以在代码中组织测试用例,并使用多种指标评估 RAG 和 Agent 输出。

教程中还提供了可视化评测报告,将用例通过情况、失败分类和各项指标集中展示,方便分析问题。

这套系列适合哪些人

  • 想从传统软件测试转向 AI 测试;

  • 正在负责大模型、RAG 或 Agent 项目;

  • 已经搭建了智能应用,但不知道如何系统验证;

  • 想学习 Promptfoo、Langfuse、DeepEval、Ragas 等评测工具;

  • 想建立 Agent 自动化回归和质量评估体系。

整套内容会围绕一个可以实际运行的 Agent 案例,从系统原理、测试场景、数据集设计,一直讲到自动化执行、可观测和结果分析。

写在最后

Agent 测试目前还在快速发展,很多方法和工具也在持续变化。

但有一件事不会变:测试的核心仍然是识别风险,并用可重复、可解释的方式验证系统是否符合预期。

只不过面对 Agent,我们不仅要看最终结果,还要看它为什么得到这个结果,以及整个执行过程是否可靠。

接下来,我还会继续更新 Agent 安全测试、多轮对话测试、工具调用测试、评测指标设计和自动化回归等内容。

如果你也在学习 AI 测试,或者正在负责 Agent 项目的质量保障,可以先收藏这篇系列导读,再按照上面的顺序逐篇学习。

相关推荐
Raina测试16 天前
我开发了一个测试工具
ai 测试
Raina测试25 天前
什么是 Jev?在测试领域中可以怎么应用?
ai 测试
Raina测试25 天前
基于 JEV 的 UI 自动化改造实践:从页面探索到失败修复
ai 测试
Raina测试1 个月前
开源一个支持多数据源的 MySQL‑MCP
ai 测试
Raina测试1 个月前
基于 Playwright codegen + Skills 实现 UI 自动化实战|人工录制省 Token,AI 补全脚本
ai 测试
FunTester2 个月前
AI 测试用例生成总跑偏?六维封装法让 Skill 从“能用“变“好用“
测试用例设计·提示词工程·ai 测试·skill 工程·prompt enginee
Raina测试3 个月前
AI 赋能UI自动化测试:Web / APP / 小程序 / 桌面端全套Skill实践方案.....
ai 测试
Raina测试3 个月前
基于Playwright + Skill的三套UI 自动化实践方案....
ai 测试
测试小罡4 个月前
一套 Skills,搞定需求评审 + 用例生成全流程
ai 测试