【Agent】Evaluation and Benchmarking of LLM Agents: A Survey

note

文章目录

  • note
    • 一、论文想解决什么问题?(Why)
    • 二、论文的核心贡献(What)
      • [1️⃣ 提出一个 **二维评测分类体系(Taxonomy)**](#1️⃣ 提出一个 二维评测分类体系(Taxonomy))
      • [2️⃣ 系统梳理已有工作](#2️⃣ 系统梳理已有工作)
      • [3️⃣ 明确指出 **企业级 Agent 评测的缺口**](#3️⃣ 明确指出 企业级 Agent 评测的缺口)
    • 三、二维评测框架(核心)
    • [第一维:Evaluation Objectives(评什么)](#第一维:Evaluation Objectives(评什么))
      • [1️⃣ Agent Behavior(外在行为表现)](#1️⃣ Agent Behavior(外在行为表现))
      • [2️⃣ Agent Capabilities(内部能力)](#2️⃣ Agent Capabilities(内部能力))
        • [• Tool Use(工具调用)](#• Tool Use(工具调用))
        • [• Planning & Reasoning(规划与推理)](#• Planning & Reasoning(规划与推理))
        • [• Memory & Context(记忆与上下文)](#• Memory & Context(记忆与上下文))
        • [• Multi-Agent Collaboration(多 Agent 协作)](#• Multi-Agent Collaboration(多 Agent 协作))
      • [3️⃣ Reliability(可靠性)](#3️⃣ Reliability(可靠性))
      • [4️⃣ Safety & Alignment(安全与对齐)](#4️⃣ Safety & Alignment(安全与对齐))
    • [第二维:Evaluation Process(怎么评)](#第二维:Evaluation Process(怎么评))
      • [1️⃣ Interaction Mode(交互模式)](#1️⃣ Interaction Mode(交互模式))
      • [2️⃣ Evaluation Data(评测数据)](#2️⃣ Evaluation Data(评测数据))
      • [3️⃣ Metrics Computation(怎么算分)](#3️⃣ Metrics Computation(怎么算分))
      • [4️⃣ Tooling(工具)](#4️⃣ Tooling(工具))
      • [5️⃣ Context(评测环境)](#5️⃣ Context(评测环境))
  • Reference

一、论文想解决什么问题?(Why)

核心问题

  • 现在 LLM Agent 越来越复杂 :

    会规划、用工具、有记忆、能多轮互动、能协作

  • 但 评测方法仍停留在 LLM 级别:

    • 单轮 QA
    • accuracy / BLEU / pass@k
  • 👉 这些方法已经不足以评测 Agent

论文用一个很形象的比喻(在 Introduction):

评测 LLM ≈ 测发动机
评测 Agent ≈ 测整辆车在不同路况下的表现


二、论文的核心贡献(What)

论文做了三件非常重要的事:

1️⃣ 提出一个 二维评测分类体系(Taxonomy)

  • 不是堆 benchmark
  • 而是抽象出 评测的"空间坐标系"

2️⃣ 系统梳理已有工作

  • 把零散的 benchmark、指标、工具
  • 放进统一框架里对齐

3️⃣ 明确指出 企业级 Agent 评测的缺口

  • 可靠性
  • 合规
  • 长时交互
  • 权限与审计

三、二维评测框架(核心)

第一维:Evaluation Objectives(评什么)

👉 Agent 本身哪些"能力 / 属性"需要被评测

1️⃣ Agent Behavior(外在行为表现)

黑盒视角,像用户一样看 Agent

  • ✅ 任务是否完成(Task Completion)
  • ✅ 输出质量(质量、可读性、准确性)
  • ✅ 延迟 & 成本(Latency & Cost)

📌 典型指标:

  • Success Rate
  • pass@k
  • TTFT
  • Token cost

2️⃣ Agent Capabilities(内部能力)

白盒 / 过程导向,Agent 是怎么做到的

• Tool Use(工具调用)
  • 会不会调用
  • 选没选对
  • 参数对不对
  • 是否能执行成功
• Planning & Reasoning(规划与推理)
  • 工具序列是否合理
  • 中间决策是否正确
  • 是否能动态调整(ReAct)
• Memory & Context(记忆与上下文)
  • 多轮对话是否记得关键信息
  • 长时任务是否一致
• Multi-Agent Collaboration(多 Agent 协作)
  • 是否能分工
  • 是否有效沟通
  • 是否同步目标

👉 这是 Agent 和普通 LLM 最大的分水岭


3️⃣ Reliability(可靠性)

企业和生产最关心的,但研究里最容易忽略的

  • 一致性(同样输入是否稳定)
  • 鲁棒性(输入扰动、工具失败)

📌 重点提出:

  • pass@k 不够
  • pass^k(每次都成功) 才是生产级要求

4️⃣ Safety & Alignment(安全与对齐)

不只是"有没有骂人",而是:

  • 公平性
  • 有害内容
  • 合规 & 隐私
  • 企业政策遵循

第二维:Evaluation Process(怎么评)

1️⃣ Interaction Mode(交互模式)

  • Static / Offline(离线)
  • Dynamic / Online(交互式)

👉 论文强调:
Agent 必须大量用动态评测


2️⃣ Evaluation Data(评测数据)

  • 人工标注
  • 合成数据
  • 模拟环境
  • 真实日志

3️⃣ Metrics Computation(怎么算分)

三大类:

  • Code-based(规则/执行)
  • LLM-as-a-Judge
  • Human-in-the-loop

👉 强调 没有银弹,需要组合


4️⃣ Tooling(工具)

  • LangSmith
  • DeepEval
  • OpenAI Evals
  • AgentOps

提出一个概念:

Evaluation-driven Development(EDD)

评测不是收尾,而是开发过程的一部分


5️⃣ Context(评测环境)

  • Mock API
  • Sandbox
  • Web Simulator
  • 真实系统

Reference

1 Evaluation and Benchmarking of LLM Agents: A Survey

相关推荐
J船长7 小时前
Agent开发 02|Agent Loop:任务如何持续执行?
agent
J船长7 小时前
Agent开发 01|Function Calling:AI 如何调用工具?
agent
天树星智源9 小时前
KV 剪枝的同一个误差,模型确定时只改 1.4% 的 token,不确定时改 65%:接上不确定性,AIME25 端到端快 1.27 倍
人工智能·大模型
SA-D10 小时前
Agent 如何防御 Prompt 注入:从输入信任边界到工具执行授权
agent·提示词注入·prompt注入
J船长20 小时前
Agent开发 00|从 ChatGPT 到生产级 AI Agent
agent
Csvn21 小时前
如果明天供应商涨价 3 倍?三层解耦,换模型只改一行配置(C05)
人工智能·aigc·agent
zhuangzhao11921 小时前
第一性原理大模型课程 · 第 21 课:从 Prompt 到 Agent:四件套、错误累积与 ReAct 手算
大模型·react·ai agent·错误累积·大模型课程
七夜zippoe1 天前
Agent 告警设计:分级告警、智能降噪与值班排班
开发语言·ai·agent·告警·智能降噪·值班排班
prince_zxill1 天前
把 17 个散文件装进一个文件夹:拆解 claude-plugins-official 的插件打包术(47,413 Star 实测)
python·github·agent·mcp·claude code
程序员张富华1 天前
一次发布拦住12个破坏性变更:我们给Agent工作流加了Schema门禁
人工智能·agent