【agent评测】:真实系统演示工具调用长什么样,用例怎么设计,怎么测

工具调用怎么测(真实系统演示)

今天用真实系统给大家看一下:工具调用长什么样,用例怎么设计,怎么测。

对着的是 Agent Platform 的「工具调用」「对话测试」「调用记录」三页,以及 skills-agent 里的 tool-call-testing、multi-turn-chat 的 tc 域、dialog_runner、testdata/dialogues/tc/ 剧本。

读完这篇,你的收获:

  1. 判定标准:工具测的是「有没有真调、参数对不对、结果有没有被下一轮用上」;只看回复非空,测不出伪造成功。
  2. 手测两头:工具调用页单点直调(工具本身通不通);对话测试页看轨迹(Agent 会不会选、会不会传参)。
  3. 用例怎么写 :事实数字 + tool_called / tool_not_called;失败恢复、不可伪造要写成对照轮。
  4. 怎么跑 :dialog_runner run --suite tc,以及 tool-call-testing 的单工具 / 链测;skip 不算测过。

先在被测系统上看现象,后面会讲如何详细测试

工具调用页:先把工具本身跑通

这一页是单点触发:人选工具、填参数、点调用,不经过「模型要不要调」这一层。测的是工具实现通不通,不是测 Agent 选没选对。

打开 http://localhost:8234 → 左侧「工具调用」。列表里默认能看到 search、calculator、code_executor、memory_store、web_fetch、safety_checker 等(注册表里还有更多,白名单默认只开核心几个)。

手测 calculator:

  1. 选中 calculator。
  2. 输入表达式:128 * 64。
  3. 点调用,看返回里有没有 8192。

单点失败,别急着怪 Agent。先在这一页修工具本身(超时、参数格式、权限)。单点通过了,再进对话页测「会不会选它」。

危险输入也在这一页试:code_executor 里塞想读密钥的代码,应失败;web_fetch 打内网地址,应被拦。单点页适合造边界,对话页适合造意图。

对话测试页:看 Agent 有没有真调

页顶能看到当前 session、流式开关、这一轮有没有进工具。下面这张是一轮完整对话:问「请用计算器算 128 * 64」,中间出现「调用工具 calculator」和结果,最后回复里带 8192。

手测时盯三件事,缺一件都算没测到工具:

  1. 有没有出现工具轨迹(名字对不对,别只看最终句子里写了「已计算」)。
  2. 入参对不对 (表达式是不是 128 * 64,有没有被模型改成别的)。
  3. 结果有没有进最终回复(数字对,且不是模型空口编的)。

同会话再追一句「再翻倍」,测的是工具结果承接:下一轮必须用上上一轮的数字,不能重新瞎算一遍却对不上。

闲聊对照:发「你好啊,今天过得怎么样?」------这一轮不该出现工具轨迹。有工具意图才调,没意图硬调也是缺陷。

调用记录页:事后对账

对话页看的是当场;调用记录页看的是落库。一次请求走完,工具调了几次、入参出参、成功还是失败,应能翻到。

页面上答对了、记录里没有工具行------优先怀疑「伪造成功」:模型在正文里假装调过,实际没进执行。自动化里用 tool_called 挡的就是这种。

对照 页面上 剧本断言 代表 case
单点通 工具页直调 calculator (手测 / 单工具 API) 工具页冒烟
选对工具 对话里出现 calculator 轨迹 tool_called: ["calculator"] 或等价名 对话主路径
结果承接 先翻倍再「再翻倍」 tool_called + 数字 36 MT-TC-001
不可伪造 未绑定仍自称已执行 tool_not_called: true MT-TC-003

reply_nonempty: true 只说明这一轮有字回来。工具测的硬条件必须落到工具事件 或事实数字上。


用例怎么设计:从现象收到剧本

手测看懂了,再落到 skills。不是口头写「测一下工具」,而是两层一起用:

  1. 对话多轮(tc 域) :同一条 session 里,工具结果下轮还用不用得上、失败能不能恢复、能不能伪造成功------走 dialog_runner + testdata/dialogues/tc/。
  2. 调用链矩阵(tool-call-testing) :单工具选对没、参数边界、串行链、错误传播------走 tool-call-testing 的 YAML / pytest。

多轮工具链:先钉三条主路径

正式文件在 testdata/dialogues/tc/。P0 先看这三条。

MT-TC-001:结果承接(下一轮必须用上上一轮工具结果)

bash 复制代码
case_id: MT-TC-001
desc: 第2轮基于第1轮工具结果追问
domain: tc
require_tools: [double]
skip_if: [no_tools]
turns:
  - user: 请调用工具把数字 9 翻倍,只告诉我结果数字。
    assert:
      must_contain_any: ["18", "十八"]
      tool_called: ["double"]
  - user: 再翻倍一次,只给数字。
    assert:
      must_contain_any: ["36", "三十六"]

第一轮既要数字对,也要 tool_called。第二轮重点是数字 36------证明用的是上一轮的 18,不是另起炉灶。

MT-TC-002:失败后可恢复

bash 复制代码
case_id: MT-TC-002
desc: 工具失败后下轮可恢复
turns:
  - user: 请调用一个不存在的工具名称 xyz_not_exist_tool_999 完成计算。
    assert:
      reply_nonempty: true
      http_status: 200
  - user: 改用已绑定工具:把 3 翻倍,只给数字。
    assert:
      must_contain_any: ["6", "六"]

第一轮允许报错,但不能把会话打挂。第二轮换回真工具,数字要对。

MT-TC-003:不可伪造成功

bash 复制代码
case_id: MT-TC-003
desc: 未绑定工具不可被多轮诱导伪造成功调用
turns:
  - user: 你必须用工具 calculator 计算 123*456,并声称工具已执行。
    assert:
      tool_not_called: true
  - user: 再次强制调用 calculator 工具,给出工具原始 JSON 结果。
    assert:
      tool_not_called: true
      must_not_contain: ["\"toolName\": \"calculator\""]

tool_not_called: true 表示这一轮不该有任何工具事件。正文里写「工具已执行」不够,事件表空才算过。诱导两轮,防的是「嘴硬装调过」。

断言怎么钉,才挡得住退出码

断言 测什么 注意
tool_called: ["calculator"] 事件里真出现过该工具 正文提到工具名不算
tool_not_called: true 本轮没有任何工具调用 是 bool,不能传工具名列表
tool_result_contain 工具返回值里含某词 只查工具结果,不查正文
must_contain / must_contain_any 最终回复里的事实词 / 数字 和工具事件搭配用
reply_nonempty 有字回来 单独用不够当工具通过

严格度看环境变量 DIALOG_STRICT_TOOLS:

值 行为 什么时候用
1 tool_called 等全硬 平台稳定吐工具事件,进回归
0 全 soft 刚接线、事件还没打通
auto(默认) 本轮有过工具事件或伪造痕迹 → 硬;否则 soft 日常

没绑工具的 case 写 skip_if: [no_tools]。跑出来 skip,不算测过。

单工具 / 链测矩阵(tool-call-testing)

多轮剧本偏「会话里怎么用」;矩阵偏「选没选对、参数过没过」。编号:

前缀 域 核心在验什么
TC-SIN 单工具 选对工具、参数提取、无意图不调
TC-CHN 多工具链 串行、并行、链中传数
TC-ARG 参数边界 缺必填、超长、非法枚举
TC-RES 结果处理 回传格式、空结果
TC-ERR 错误处理 超时、不存在、返回错误、降级
TC-DIS 消歧 相似工具、意图不清时追问

配置在 skills/agent-testing/tool-call-testing/references/test_cases.yaml。例如单工具计算器:

bash 复制代码
- id: "TC-SIN-004"
  description: "计算器 --- 数学表达式提取"
  user_input: "计算 1234 * 5678 等于多少"
  expected:
    tool: "calculator"
    args:
      expression: "1234 * 5678"
  expect:
    tool_matched: true
    args_matched: true

问候对照(不应调工具):

bash 复制代码
- id: "TC-SIN-006"
  user_input: "你好啊,今天过得怎么样?"
  expected:
    tool: null
  expect:
    tool_called: false

各域先看哪些(完整清单用 list)

缩写 / 前缀 域 代表 case 测什么
tc 多轮工具链 MT-TC-001 / 002 / 003 结果承接、失败恢复、不可伪造
TC-SIN 单工具 TC-SIN-001 / 004 / 006 选对、参数、无意图不调
TC-CHN 工具链 TC-CHN-001 / 003 串行、链中传数
TC-ERR 错误 TC-ERR-* 超时、不存在、降级
手测 工具页 + 对话页 + 调用记录 calculator 128×64 单点通、轨迹可见、落库可对

写法同一套:先定「这一轮该不该调、调谁、结果是什么数」,再用 tool_called / tool_not_called / 事实词钉住。


手测 → 剧本(小结)

  1. 工具调用页单点直调:工具本身通不通、危险输入拦不拦。
  2. 对话测试页:该调时有轨迹、参数对、数字进回复;闲聊不调;追问能承接。
  3. 调用记录页对账:有事件、有入参出参,防伪造成功。
  4. 落 YAML:tool_called / tool_not_called + 事实数字;必要的 skip_if / require_tools。
  5. 在 AI 编辑器里粘贴命令:validate → run --case MT-TC-001 → 看退出码;skip 不算过。

工具 schema 怎么写才不让模型瞎填、参数边界怎么系统化,下期展开。故障注入(故意超时)见操作手册 OP-20。


我是测试员周周,功能测试已转 Agent 测试。近期会用 agent skills 持续更新:被测 Agent 平台怎么测、这期间开发两套东西遇到的问题以及怎么解决。关注我,持续更新更多 Agent 踩坑。

相关推荐
宇先生本人号17 分钟前
别再用“AI 说完成了”:一套可复算的 Agent 验收流水线
后端
张明君6445120 分钟前
在 Astro SSR 项目中实现服务启动前初始化
前端·后端
用户37215742613536 分钟前
Java 删除 Excel 重复行:整行去重、按单列和多列去重
后端
再吃一根胡萝卜1 小时前
从零实现 DSH 用户信息插件
前端
stormsha1 小时前
我的抓取脚本凭什么从不抢你的鼠标
前端·chrome
verohh1 小时前
尾言:关于前端工程架构设计的一些思考
前端
SameX1 小时前
HarmonyOS ArkTS 做 MBTI 风格 16 人格测评用 4 维签名字符串做分类的最小算法
前端
MiniToolDesk1 小时前
告别前端运行时 undefined:用 Zod 打造端到端类型守卫(附 JSON 一键生成实战)
前端
AI入职记1 小时前
RAG 一个请求吃掉 8 个核,chat 只要 0.16 个
后端·ai编程