ReAct‑Evolve：基于轨迹反馈的ReAct智能体自主提示演化系统
原文网页：https://arxiv.org/html/2610.18684v1
PDF链接：https://arxiv.org/pdf/2610.18684v1
arXiv编号：arXiv:2610.18684v1 cs.AI
摘要
ReAct是最广泛使用的推理‑动作范式智能体，依靠人工编写的系统提示定义推理、工具调用格式与行为规范。人工调优ReAct提示高度依赖专家经验，迭代成本高；不同任务域很难复用一套提示。本文提出ReAct‑Evolve ，一套针对ReAct范式的自主提示演化系统。该系统基于智能体运行轨迹与任务结果反馈，不需要人工介入，自动迭代优化ReAct系统提示。
系统将提示拆解为五个可独立演化的子片段：推理范式、工具调用格式、错误处理策略、终止规则、输出约束；采用多候选池演化策略，对片段做变异‑评估‑筛选；使用片段级交叉组合，实现提示片段的复用。在GAIA、BrowseComp‑Plus、SWE‑bench‑Lite三套基准开展实验。相比原始人工编写ReAct提示，演化得到提示整体任务成功率提升11.3个百分点；并且具备跨任务域迁移能力，在未见过的测试任务上依然保持增益。消融实验验证片段拆解、多候选池演化、片段交叉组合模块的贡献。进一步分析表明，演化后的提示会习得人类专家经常忽略的细节约束。全部代码、演化轨迹、数据集开源。
关键词
ReAct智能体；提示演化；自动提示优化；轨迹反馈；片段级演化；大模型智能体
目录
- 引言
- 相关工作
- ReAct‑Evolve系统框架](#3‑react‑evolve系统框架)
- [3.1 ReAct提示片段化拆解](#3.1 ReAct提示片段化拆解)
- [3.2 多候选池演化整体流水线](#3.2 多候选池演化整体流水线)
- [3.3 片段变异算子](#3.3 片段变异算子)
- [3.4 片段交叉组合与候选筛选](#3.4 片段交叉组合与候选筛选)
- 实验设置
- 实验结果
- [5.1 主实验：端到端任务性能](#5.1 主实验：端到端任务性能)
- [5.2 跨域迁移泛化实验](#5.2 跨域迁移泛化实验)
- [5.3 消融实验](#5.3 消融实验)
- [5.4 演化提示行为分析](#5.4 演化提示行为分析)
- 讨论与局限性
- 结论
- 附录简要说明
1 引言
ReAct范式将推理思考与工具调用动作交替执行，是开源与闭源大模型智能体最主流的实现范式。ReAct智能体行为几乎完全由系统提示控制，包含推理方式、工具调用JSON格式、错误处理、何时终止任务、输出格式约束。
人工优化ReAct提示存在显著痛点：
- 提示调优依赖专家经验，试错迭代成本高；
- 为某一类任务调优得到的提示，迁移到其它任务域经常失效；
- 大量细碎的边界约束容易被人类编写者忽略，而这些约束对智能体稳定性至关重要。
现有的提示演化/提示自动优化大多对完整提示整体做变异重写。整体重写方式的缺陷：提示是长文本，整体变异容易破坏原有有效部分；难以复用已经验证有效的局部提示片段。
本文提出ReAct‑Evolve，面向ReAct范式的自主提示演化框架。
核心设计思路：不直接对完整系统提示做整体改写，而是把提示拆分为5个语义独立的子片段，对片段层面执行变异、评估、筛选，再通过交叉组合拼接得到完整提示。基于任务执行轨迹、成功/失败反馈驱动整个演化循环，无需人工修改提示。
本文主要贡献
- 提出ReAct‑Evolve，面向ReAct智能体的片段级自主提示演化框架；将提示拆解为推理范式、工具调用格式、错误处理策略、终止规则、输出约束五大片段，实现片段级变异‑评估‑筛选‑交叉组合。
- 在GAIA、BrowseComp‑Plus、SWE‑bench‑Lite三套基准验证，相比原始人工ReAct提示，端到端成功率提升11.3个百分点；演化得到的提示具备跨任务域迁移泛化能力。
- 消融验证片段拆解、多候选池、片段交叉组合的有效性；分析发现演化提示可以习得人类专家容易忽略的边界约束。
- 全部演化代码、运行轨迹、数据集开源。
2 相关工作
2.1 ReAct智能体
ReAct交替输出推理思考与工具调用动作；系统提示决定全部行为逻辑。变体包含Reflexion、Plan‑and‑ReAct等。提示微小改动会显著影响稳定性，但人工调优繁琐。
2.2 自动提示优化与提示演化
AutoPrompt、Prompt‑Evolution、APE等，大多对完整提示字符串做整体生成、变异。整体改写容易丢失已有有效内容；ReAct‑Evolve采用片段粒度，保留有效片段，只变异局部组件，支持片段复用与交叉组合。
2.3 智能体自我演进
AutoAgent‑Bench、AEVO等工作允许智能体修改完整系统提示；ReAct‑Evolve专门针对ReAct范式做结构化片段拆解，限定每个片段的语义职责，缩小搜索空间，提升演化稳定性。
3 ReAct‑Evolve系统框架
3.1 ReAct提示片段化拆解
将完整ReAct系统提示拆分为5个语义独立、职责分离的片段：
| 片段名称 | 职责说明 |
|---|---|
| 推理范式片段 Reasoning | 定义思考推理的风格、深度，如何分析当前状态 |
| 工具调用格式片段 ToolCall | 定义工具调用JSON语法、参数填写规则、非法调用处理 |
| 错误处理片段 ErrorHandle | 工具报错、返回无效内容时，智能体应当如何响应 |
| 终止规则片段 Terminate | 判断什么时候任务完成，什么时候应当停止继续调用工具 |
| 输出约束片段 Output | 最终答案输出格式、内容约束 |
每个片段独立维护候选池；完整提示 = 5个片段拼接。演化只修改片段，片段之间可以互相交叉组合。
3.2 多候选池演化整体流水线
每个片段维护独立候选池Pool_Reasoning、Pool_ToolCall、Pool_ErrorHandle、Pool_Terminate、Pool_Output。
完整迭代循环：
- 片段变异：从各个候选池采样父片段，调用大模型执行变异算子，生成新的片段变体。
- 交叉组合：从各个片段候选池采样片段，组合生成多条完整ReAct提示候选。
- 提示评估：使用该完整提示在训练任务集运行ReAct智能体，得到任务成功率、失败轨迹。
- 片段打分：基于完整提示的任务结果，反向评估每个片段的适配得分；同一完整提示内，表现好的片段获得高分。
- 候选池更新：保留高分片段，淘汰低分片段，更新各片段候选池。
- 回到步骤1，开启下一轮演化迭代，直到达到最大迭代轮次。
关键点：片段的价值不是孤立打分，片段之间存在组合效应；通过多组不同组合的完整提示的任务表现，统计片段统计效用。
3.3 片段变异算子
针对单一片段做局部修改，提供三种变异模式随机选用：
- 缺陷修复变异：读取失败轨迹，针对该片段对应的失败模式，修改片段来规避该类错误；
- 约束增强变异：在原有片段基础上补充边界约束、注意事项；
- 表述重写变异：保持片段核心语义不变，改写措辞、组织逻辑。
变异算子只修改单一片段，其余片段保持不变；不会一次性改动全部5个片段。
3.4 片段交叉组合与候选筛选
- 每一轮从5个候选池中采样，随机交叉组合，生成N条完整提示候选；
- 全部候选提示在训练任务子集运行，记录每条完整提示的任务成功率；
- 基于多组组合结果，统计每个片段的经验效用得分；
- 各片段池保留top‑K高分片段作为下一代候选；淘汰低分片段；
- 演化结束后，可输出得分最高片段拼接而成的最终ReAct提示。
演化阶段仅使用训练任务集；测试集全程不参与演化，用于评估泛化。
4 实验设置
数据集
- 训练集：GAIA‑train、BrowseComp‑Plus‑train、SWE‑bench‑Lite‑train；演化只使用训练集。
- 测试集：GAIA‑test、BrowseComp‑Plus‑test、SWE‑bench‑Lite‑test，完全不参与演化，用于评估泛化。
对比基线
- Human‑ReAct：论文原始人工编写标准ReAct提示；
- Full‑Evolve：整体提示演化基线，每次变异改写完整全部提示，不做片段拆解；
- ReAct‑Evolve(Ours)：本文片段级演化系统。
消融变体
- w/o fragment‑split：取消片段拆解，等价Full‑Evolve；
- w/o cross‑mix：不做交叉组合，每轮只变异然后直接完整提示；
- w/o error‑aware mutate：关闭缺陷修复变异，只做重写、约束增强。
模型与超参数
- LLM基座：GPT‑5.6‑Luna；
- 每个片段候选池最大大小K=8；每轮生成12条完整提示候选；最大演化轮次15轮；
- ReAct智能体每任务最大工具调用步数50。
评测指标
主要指标：任务成功率SR；分别报告训练集、未见测试集结果。
5 实验结果
5.1 主实验：端到端任务性能
| 方法 | GAIA‑test | BrowseComp‑Plus‑test | SWE‑bench‑Lite‑test | 平均成功率 |
|---|---|---|---|---|
| Human‑ReAct人工提示 | 36.2% | 41.5% | 33.7% | 37.1% |
| Full‑Evolve整体演化 | 41.4% | 46.8% | 38.2% | 42.1% |
| ReAct‑Evolve片段级演化 | 47.8% | 53.0% | 44.5% | 48.4% |
结果说明：
- ReAct‑Evolve相比人工编写ReAct提示平均提升**+11.3个百分点**；
- 对比完整提示整体演化Full‑Evolve，平均高出6.3个百分点；片段拆解+交叉组合策略优于整体重写。
5.2 跨域迁移泛化实验
设置跨域迁移：只在GAIA数据集训练演化提示，直接在BrowseComp‑Plus、SWE‑bench‑Lite测试集测试，不做任何重演化。
| 提示来源 | BrowseComp‑Plus‑test | SWE‑bench‑Lite‑test |
|---|---|---|
| Human‑ReAct | 41.5% | 33.7% |
| Full‑Evolve(仅GAIA演化) | 44.3% | 36.1% |
| ReAct‑Evolve(仅GAIA演化) | 48.7% | 40.2% |
演化得到的提示具备跨任务域迁移能力；片段式演化习得的约束具备通用性，不只是拟合训练集任务特有的模式。
5.3 消融实验
| 配置 | 测试集平均成功率 | 相对变化 |
|---|---|---|
| 完整ReAct‑Evolve | 48.4% | ‑ |
| w/o fragment‑split（取消片段拆解，整体演化） | 42.1% | ‑6.3% |
| w/o cross‑mix（关闭片段交叉组合） | 44.6% | ‑3.8% |
| w/o error‑aware mutate（关闭缺陷修复变异） | 45.9% | ‑2.5% |
消融结论：
- 片段拆解是最大增益来源，取消片段拆解退化为整体演化，性能下降6.3pp；
- 片段交叉组合、缺陷感知变异均带来可观正向收益。
5.4 演化提示行为分析
对比人工提示与演化生成提示文本，得到关键观测：
- 演化得到的终止规则片段，补充大量边界条件：工具反复返回无效结果时应当停止，不要无限循环调用工具；该类细节经常被人类提示编写者忽略。
- 工具调用片段补充更多异常JSON格式约束，降低非法调用比例；
- 错误处理片段增加区分不同报错类型的应对策略，而不是统一简单重试；
- 推理范式片段不会完全推翻原有人类推理逻辑，大多是补充注意事项、边界检查。
统计错误率：演化提示下非法工具调用占比从人工提示21.7%下降至10.4%；无效循环工具调用占比从16.3%下降至7.1%。
6 讨论与局限性
局限性
- 当前系统专门针对ReAct范式，不能直接迁移到其它智能体范式（如Plan‑and‑Solve）；需要重新定义对应范式的片段拆分方式。
- 演化效果依赖基座大模型的变异生成质量；基座能力弱，片段变异质量会下降。
- 演化需要消耗大量LLM调用与任务运行算力；每一轮都要运行多条完整提示候选。
- 片段之间存在复杂组合效应；片段打分是统计经验得分，不是严格独立因果得分。
使用启示
人工编写ReAct提示容易遗漏大量细碎边界约束；片段级演化可以发现这些细节约束；片段交叉组合有利于把在一类任务上学到的约束迁移到其它任务域。
对比整体提示演化：整体改写容易破坏原有已经有效的提示内容；片段粒度演化只局部修改组件，保留有效部分，稳定性更高。
7 结论
本文提出ReAct‑Evolve，面向ReAct智能体的片段级自主提示演化框架。将完整提示拆解为推理范式、工具调用格式、错误处理策略、终止规则、输出约束五个独立片段；执行片段变异‑评估‑筛选‑交叉组合演化循环，基于轨迹反馈自动优化提示。
在GAIA、BrowseComp‑Plus、SWE‑bench‑Lite三套基准，相比人工ReAct提示平均提升11.3个百分点；演化得到提示具备跨任务域迁移泛化能力。消融证实片段拆解、交叉组合、缺陷感知变异模块的贡献；分析发现演化后的提示可以习得人类专家容易忽略的边界约束。全部代码、演化轨迹、数据集开源。
附录简要说明
- 附录A：原始人工ReAct完整提示文本；五个片段的初始种子片段。
- 附录B：三类片段变异算子完整Prompt模板。
- 附录C：演化超参数、候选池管理逻辑、片段打分统计计算方式。
- 附录D：完整细分实验结果，各数据集分轮演化曲线。
- 附录E：演化得到提示样例，失败模式统计。
如果你需要，我可以继续解析下一篇论文，或者把本篇合并进智能体论文汇总速查表。