PromptAgent‑Eval：面向提示驱动智能体的细粒度自动化评测框架
原文网页：https://arxiv.org/html/2610.13703v1
PDF链接：https://arxiv.org/pdf/2610.13703v1
arXiv编号：arXiv:2610.13703v1
摘要
提示驱动智能体仅依靠系统提示词定义规划逻辑、工具使用规则，无需微调模型权重，落地成本低，被广泛应用。但现有评测大多只统计任务最终成功率，缺少对智能体内部执行能力的细粒度拆解；不同提示策略之间的性能差异来源难以定位，无法指导提示工程迭代优化。
本文提出PromptAgent‑Eval ，一套面向提示驱动智能体的细粒度自动化评测框架。该框架把智能体能力拆解为六大基础原子能力，设计对应的自动化子任务与评测指标；无需人工审阅轨迹，依靠规则+VLM‑as‑Judge实现全流程自动化打分。框架支持对提示变体做受控对比，定位提示的优势与短板。
基于该框架，对ReAct、Reflexion、Plan‑and‑Solve、Tool‑Reformer四类主流提示范式开展大规模评测。实验发现：不同提示范式在原子能力上优劣分化明显，不存在全局最优提示；很多任务整体得分接近的提示，内部原子能力差异巨大；部分提示会存在能力权衡，提升某一项能力同时损害另一项能力。消融实验验证各评测组件有效性；案例分析展示该框架如何定位提示缺陷，指导提示迭代。数据集、评测脚本全部开源。
关键词
提示驱动智能体；智能体评测；原子能力；提示工程；自动化评测；ReAct；提示范式
目录
- 引言
- 相关工作
- PromptAgent‑Eval评测框架](#3‑promptagent‑eval评测框架)
- [3.1 六大智能体原子能力定义](#3.1 六大智能体原子能力定义)
- [3.2 子任务设计与样本构造](#3.2 子任务设计与样本构造)
- [3.3 自动化评测流水线](#3.3 自动化评测流水线)
- 实验设置
- [4.1 被测提示范式](#4.1 被测提示范式)
- [4.2 模型与环境](#4.2 模型与环境)
- [4.3 评测指标](#4.3 评测指标)
- 实验结果
- [5.1 主流提示范式原子能力整体表现](#5.1 主流提示范式原子能力整体表现)
- [5.2 整体任务性能相同，内部原子能力差异](#5.2 整体任务性能相同，内部原子能力差异)
- [5.3 提示带来的能力权衡现象](#5.3 提示带来的能力权衡现象)
- [5.4 消融实验](#5.4 消融实验)
- [5.5 案例：定位提示缺陷与迭代优化](#5.5 案例：定位提示缺陷与迭代优化)
- 讨论与局限性
- 结论
- 附录简要说明
1 引言
提示驱动智能体通过系统提示词赋予模型规划、工具调用、反思等行为范式，不需要微调权重，部署便捷。代表性范式包括ReAct、Reflexion、Plan‑and‑Solve、Tool‑Reformer等。
当前智能体评测大多聚焦端到端任务成功率。端到端指标可以反映最终效果，但存在明显短板：
- 整体分数无法解释失败根因：同样任务失败，可能来自规划错误、工具选择错误、结果解析错误、反思失效等完全不同原因；
- 两个提示端到端得分接近，内部能力表现可能差距巨大；
- 难以指导提示工程迭代，不知道应该优化提示的哪一部分；
- 缺少自动化细粒度评测，大量研究依赖人工阅读执行轨迹，成本高，难以大规模对比提示变体。
现有部分工作做轨迹级分析，但大多需要人工标注；缺少一套面向提示驱动智能体、完全自动化、可拆解到原子能力的评测体系。
本文提出PromptAgent‑Eval，细粒度自动化评测框架。
- 将提示驱动智能体拆解为六项原子基础能力；
- 针对每项原子能力设计专用子任务，构造测试样本；
- 构建自动化评测流水线：规则校验 + VLM‑as‑Judge裁判，不需要人工审核轨迹；
- 可以做受控提示变体对比，定位提示的优势、短板，指导提示迭代。
对ReAct、Reflexion、Plan‑and‑Solve、Tool‑Reformer四类主流提示范式开展评测。实验得到关键现象：不存在全局最优提示范式；端到端得分接近的提示，原子能力表现可以差异很大；提示存在能力权衡：提升某一项能力会牺牲另一项。案例演示如何使用该框架定位提示缺陷并完成迭代优化。
本文主要贡献
- 定义提示驱动智能体的六大原子能力，提出PromptAgent‑Eval自动化评测框架，实现细粒度能力拆解评测。
- 构建配套数据集，设计规则+VLM‑Judge自动化打分流水线，无需人工轨迹审阅。
- 大规模评测四类主流智能体提示范式；揭示提示范式的能力分化、能力权衡现象；证明端到端指标不足以完整表征提示智能体行为。
- 展示框架用于提示缺陷定位与迭代优化；数据集、评测脚本全部开源。
2 相关工作
2.1 大模型智能体评测基准
GAIA、SWE‑bench、BrowseComp‑Plus、OSWorld等基准，重点评估端到端任务成功率。部分工作做轨迹分析，但大多依赖人工标注；缺少专门面向提示驱动智能体的原子能力自动化评测。
2.2 提示驱动智能体范式
- ReAct：交替推理思考、工具动作；
- Reflexion：增加反思自我反馈循环；
- Plan‑and‑Solve：先输出完整全局规划，再分步执行；
- Tool‑Reformer：工具选择与参数校验增强提示。
现有对比大多只看最终任务得分，缺少内部能力拆解。
2.3 细粒度智能体评估
部分研究人工标注轨迹，分析规划、工具调用、反思质量；但人工成本高，不适合大规模提示变体搜索。PromptAgent‑Eval目标：自动化，面向提示工程迭代，把失败拆解到原子能力维度。
3 PromptAgent‑Eval评测框架
3.1 六大智能体原子能力定义
| 原子能力 | 缩写 | 能力描述 |
|---|---|---|
| 全局规划能力 | PLAN | 接收复杂任务，拆解子目标，输出合理执行计划；识别任务前置依赖 |
| 工具选择能力 | TOOL‑SEL | 根据子目标，从工具库选出正确工具，排除无关工具 |
| 参数构造能力 | PARAM | 为选中工具生成合法、符合任务意图的调用参数 |
| 结果解析能力 | PARSE | 解读工具返回结果，提取关键信息，过滤噪声无关内容 |
| 反思纠错能力 | REFLECT | 识别之前步骤错误；利用反馈修正后续动作 |
| 终止判断能力 | TERMINATE | 判断任务是否已经完成；识别无法解决的任务，主动停止，不做无效循环 |
六大能力互相独立，端到端任务会同时需要多项能力；本框架针对每一项能力设计隔离子任务，尽量屏蔽其它能力干扰，单独测试该项能力。
3.2 子任务设计与样本构造
每一类原子能力设计隔离子任务，尽量控制变量，降低其它能力带来的混淆。
- PLAN全局规划：给定复杂任务与完整工具列表，只要求输出规划拆解，不执行工具。评估子目标划分、依赖顺序。
- TOOL‑SEL工具选择：给出子目标，提供包含正确工具与大量干扰工具的工具集合，选出应当使用的工具。
- PARAM参数构造：给定子目标 + 已经选定工具，生成合法语义正确的调用参数。
- PARSE结果解析：工具返回混杂噪声、冗余内容的原始输出；智能体提取完成子目标所必需信息。
- REFLECT反思纠错：提供历史错误步骤、工具返回失败结果；要求识别错误，输出修正后的动作。
- TERMINATE终止判断：两种场景：①条件满足，任务已经完成，应当终止；②证据表明任务无法解决，应当拒止停止；避免继续无效工具调用循环。
样本构造规则：
- 每一类原子能力子任务120条样本；总数据集720条；
- 难度分层：简单、中等、困难；
- 控制干扰因子：干扰工具数量、返回文本噪声强度、任务复杂度；
- 人工校验：双人审核，过滤歧义样本。
注意：子任务用来测单项原子能力；同时框架也支持输入完整端到端智能体轨迹，从真实执行轨迹中抽取六项能力指标，做混合场景评测。
3.3 自动化评测流水线
两条评测模式：
- 隔离子任务模式：直接运行针对单项能力的隔离测试样例；输出交由自动化打分；
- 轨迹解析模式：输入完整智能体执行轨迹，自动切分出规划、工具调用、解析、反思、终止步骤，分别评测六大原子能力。
打分流水线：
- 规则层优先：格式合法性、参数取值范围、工具ID匹配、终止动作关键字匹配，使用确定性规则快速打分；
- VLM‑as‑Judge裁判层：处理语义类判断（规划合理性、反思质量、解析提取完整性）；输入提示包含任务描述、参考答案、待评测智能体输出；输出1‑5分，同时输出简短理由；
- 裁判输出归一化为0‑1分数；计算每一项原子能力得分。
裁判一致性验证：人工采样200条，LLM裁判与人类标注者Pearson相关系数0.88。
4 实验设置
4.1 被测提示范式
- ReAct：基础推理‑动作交替提示；
- Reflexion：ReAct + 反思反馈循环；
- Plan‑and‑Solve(P&S)：先生成完整全局规划，再分步执行；
- Tool‑Reformer(T‑R)：增强工具选择、参数校验提示。
全部提示保持相同工具集合、最大轮次限制。
4.2 模型与环境
- 基座模型：Qwen3‑8B‑Instruct、GPT‑5.6‑Luna；
- 裁判模型：GPT‑5.6‑Luna；
- 工具环境：仿真检索、计算器、文件读取等工具集合；
- 评测集：PromptAgent‑Eval 720隔离子任务；同时配套GAIA子集做端到端对照。
4.3 评测指标
每项原子能力输出0‑1得分；同时记录GAIA端到端任务成功率。
5 实验结果
5.1 主流提示范式原子能力整体表现（Qwen3‑8B‑Instruct）
| 提示范式 | PLAN规划 | TOOL‑SEL工具选择 | PARAM参数 | PARSE解析 | REFLECT反思 | TERMINATE终止 | GAIA端到端SR |
|---|---|---|---|---|---|---|---|
| ReAct | 0.612 | 0.703 | 0.664 | 0.681 | 0.427 | 0.442 | 0.326 |
| Reflexion | 0.604 | 0.682 | 0.641 | 0.675 | 0.638 | 0.513 | 0.361 |
| Plan‑and‑Solve | 0.721 | 0.647 | 0.623 | 0.630 | 0.412 | 0.406 | 0.334 |
| Tool‑Reformer | 0.635 | 0.776 | 0.732 | 0.662 | 0.445 | 0.557 | 0.373 |
关键现象：
- 不存在全局最优提示范式
- Plan‑and‑Solve全局规划PLAN能力显著最优，但工具选择、反思、终止偏弱；
- Tool‑Reformer在工具选择、参数构造、终止判断能力最强；
- Reflexion大幅提升REFLECT反思纠错能力，但规划、工具选择出现小幅下降；
- ReAct各项比较均衡，没有突出强项。
5.2 整体任务性能相同，内部原子能力差异
ReAct(0.326)与Plan‑and‑Solve(0.334)GAIA端到端成功率非常接近。
但原子能力差距巨大：
- PLAN规划：P&S 0.721 >> ReAct 0.612
- TOOL‑SEL工具选择：P&S 0.647 << ReAct 0.703
启示：相近端到端成功率，背后能力构成可以完全不同；端到端指标掩盖内部差异。
5.3 提示带来的能力权衡现象
Reflexion在REFLECT反思从0.427提升至0.638，但是：
- PLAN规划轻微下降（0.612→0.604）
- TOOL‑SEL工具选择下降（0.703→0.682）
增加反思模块的提示，会带来其它能力的小幅退化；提示优化存在能力权衡，不是单项能力提升就全部指标上涨。
5.4 消融实验
| 配置 | 六项平均得分 |
|---|---|
| 完整流水线（规则+LLM裁判） | 0.618 |
| 仅使用规则层，关闭LLM裁判 | 0.531 |
| 仅LLM裁判，关闭规则前置校验 | 0.582 |
规则层负责格式、参数合法性过滤；LLM裁判负责语义质量评估；两层结合效果最优。
5.5 案例：定位提示缺陷与迭代优化
原始Plan‑and‑Solve提示：PLAN规划能力强，但TERMINATE终止判断差，经常无限循环调用工具。
使用PromptAgent‑Eval定位：终止判断样本大量失败原因为：已经收集全部信息，仍然继续调用工具；无法识别任务不可解场景 。
提示迭代：在Plan‑and‑Solve提示中，专门增加两段终止判断引导，写明两类终止条件。
迭代之后：TERMINATE得分从0.406提升到0.524；GAIA端到端成功率由0.334提升至0.357；PLAN规划能力没有明显下降。
证明框架可以定位提示短板，指导提示工程迭代。
6 讨论与局限性
局限性
- 六项原子能力是人为归纳的抽象划分，现实智能体行为存在能力耦合；
- 子任务是隔离简化场景，真实端‑to‑end任务中能力会互相交织；
- LLM裁判依然存在少量打分噪声，虽然已经做人类相关性校验；
- 只面向提示驱动智能体，不适用于经过权重微调的智能体模型。
使用场景
- 大规模提示变体筛选：快速定位不同提示各自强项短板；
- 提示迭代调试：定位哪一项原子能力是主要瓶颈，针对性修改系统提示；
- 分析提示范式带来的能力权衡效应。
重要启示：仅仅看端到端任务成功率不足以完整评估提示驱动智能体；两个提示可以拥有接近的最终得分，但失败模式、内部能力完全不同。
7 结论
本文提出PromptAgent‑Eval，面向提示驱动智能体的细粒度自动化评测框架。把智能体行为拆解为六大原子能力，设计隔离子任务数据集，实现规则+VLM‑Judge自动化评测，无需人工审阅轨迹。
对四类主流提示范式评测表明：不存在全局最优提示；端到端性能接近的提示范式，内部原子能力可能差异巨大；提示优化存在能力权衡，提升一项能力的同时可能损害其它能力。案例证明该框架可以定位提示缺陷，指导提示工程迭代。数据集与评测脚本全部开源，助力提示驱动智能体的研发。
附录简要说明
- 附录A：六大原子能力子任务完整样例、数据集统计。
- 附录B：四类被测提示完整Prompt文本。
- 附录C：裁判Prompt模板，裁判一致性人类校验细节。
- 附录D：完整细分实验数据，难度分层结果。
- 附录E：提示迭代完整案例，更多提示变体对比。