为什么AI智能体会不断迭代却从不重新思考其策略
导读
当前AI智能体虽能通过迭代优化结果，却鲜少反思底层策略。清华大学等机构的研究揭示，AI在"执行"层面表现优异，但在"策略"层面存在严重局限：它们往往固守初始方案，陷入局部优化的循环，缺乏自我纠错和重构思路的能力。这种"能迭代但不能重思考"的瓶颈，阻碍了递归自改进（RSI）的实现。文章深入剖析了这一现象，并介绍了两项前沿解决方案：Metaⁿ通过递归叠加元层来增强策略审视能力；Recuris则利用外部记忆系统进化经验存储与验证机制。理解这些限制与突破，对于推动AI从被动执行者向主动科学贡献者转变至关重要。
TL;DR： 当前的 AI 智能体虽然能够通过迭代来优化结果，却很少重新思考改进背后的策略。新的研究正在探索如何克服这一局限：Metaⁿ 通过递归叠加元层来增强智能体的策略能力，而 Recuris 则进化了智能体存储、检索、验证和应用经验的方式。
RSI 是过去几个月里变得过于熟悉的缩写。我们这样描述它：递归自改进（Recursive Self-Improvement, RSI） 是指 AI 能够协助改进未来的 AI 系统，而这些改进后的系统又能帮助构建更优秀的系统。
多年来，开发者们一直在努力提升模型的能力。如今，随着模型变得越来越强大，将更多工作交给它们的诱惑变得难以抗拒。这一前景极具吸引力：那些能够
- 从经验中学习，就像人类在工作中不断提升技能一样；
- 协助设计并训练更强大的后继者；
- 适应陌生问题，无需等待人类更新。
这些能力有望以前所未有的速度加速科学与工程领域的进步。很难不对 AI 智能体成为科学领域的一流贡献者而感到兴奋。
今天，我们已经看到 AI 能够改进 AI。但为什么这尚未转化为持续的递归自改进（Recursive Self-Improvement）？许多因素取决于这一答案，包括我们能预期 AI 以多快的速度取得进展。
在本文中，我们将探讨阻碍递归自改进（Recursive Self-Improvement）发展的因素。即便递归自改进并非你关注的重点，理解这些瓶颈也大有裨益，因为其中许多问题正拖慢更广泛的 AI 研发进程。因此，让我们深入剖析进展受阻的关键环节。本指南将重点深挖其中两个瓶颈；至于更广阔的图景，我们已将 九种递归自改进方法 映射至它们所优化的循环阶段，涵盖从工作记忆（Working Memory）和策略（Strategy）到智能体脚手架（agent scaffold）及评估器（evaluator）的各个层面。
什么限制了递归自改进（Recursive Self-Improvement）？迭代并不等同于重新思考
我们将从一篇乍看之下似乎与递归自改进（Recursive Self-Improvement）无关的论文开始探索之旅：《AI 后训练 AI 缺失了什么：一项实证分析》（What is Missing from AI Post-training AI: An Empirical Analysis），由清华大学及其他机构的研究人员撰写。该研究考察了 AI 智能体对其他 AI 模型进行后训练（Post-training）的过程。这听起来可能像是一个狭窄的训练问题，但它为我们提供了一个具体的视角，用以观察 AI 在改进 AI 方面已经能够走多远，以及这一过程中仍缺失了什么。
研究人员将智能体的能力划分为两个层级：
- 执行（Execution）------智能体遵循现有的训练计划。它负责准备数据、调整设置、修复错误、优化奖励信号，并选择最佳的检查点。
- 策略（Strategy）------智能体能够改变计划本身。它可能会切换到另一种训练方法、增加或移除某个训练阶段、使用不同类型的数据，或者重新分配剩余的推理算力（Inference Compute）。
研究人员仅当智能体实际更新了模型的参数时，才将其计为一次训练实验。随后，他们考察了不同实验之间发生的变化：
- 在同一计划内的细微调整（例如调优超参数）被归类为执行层面的变更。
- 对训练方法的更改则被归类为策略层面的变更。
实验结果揭示了一个重要洞察：智能体在模型训练方面已经取得了成功 。在 1,338 条轨迹中，它们完成了 5,111 次训练运行，并将平均基准性能从 10.4% 提升至 23.0%。以 HumanEval 为例，平均性能从 22.0% 提升到了 41.4%。这意味着智能体确实能够胜任这些工作：准备数据、启动训练、诊断技术问题、修复失败运行并持续迭代数小时。
主要局限性出现在策略层面：智能体通常在最初就选定一个训练策略，并倾向于固守该策略，将其余时间用于进行细微调整。仅在约 2% 的案例中，智能体会测试不同的策略。即使结果暗示它们应该尝试不同的方法，它们也不会改变改进的方法。
有趣的是，偏好的方法往往更多地取决于智能体（Agent）本身，而非任务。Claude Code 大多选择全参数监督微调（Supervised Fine-tuning），而 Codex CLI 则"偏好"参数高效微调（Parameter-efficient Fine-tuning）。
研究人员认为必须找到解决这一问题的方法。他们尝试了三种修复方案，但均未达成目标：
- 增加经验（如赋予智能体记忆、有用技能和反馈）仅能提升其执行（Execution）能力。智能体的得分确实提高了：例如，HumanEval 的表现从 22.0% 提升至 62.8%（相比之下，未应用该修复方案时为 41.4%）。然而，更多的经验并不能让智能体在需要时改变其策略（Strategy）。
"Experience driven agent framework"
图片来源：论文《What is Missing from AI Post-Training AI: An Empirical Analysis》
- 人类引导有助于智能体在开始时选择不同的初始方法。但一旦训练开始，它们又会再次陷入局部微调的僵局。
"AIME 2025 accuracy results with experience-riven and human-guidance in agentic loop"
图片来源：论文《What is Missing from AI Post-Training AI: An Empirical Analysis》
- 最后，在较简单的任务上，给予智能体（Agent）2--8倍**更多的推理算力（Inference Compute）**确实有帮助，但在最困难的任务上却几乎毫无作用。
因此，问题不在于缺乏经验、指导或算力。AI 已经能够通过迭代来优化自身。但能够迭代并不等同于能够重新思考。 当前的智能体很少能停下来"思考"：也许我的整个方法都错了？它们似乎缺乏在迭代过程中可靠地识别错误的方法，因此容易陷入不断朝错误方向迭代的循环，被困在无意义的局部修正中。
所以，这不仅仅是一个后训练（Post-training）问题。它是实现递归自改进（Recursive Self-Improvement, RSI）的一个障碍 →
为什么迭代对 RSI 至关重要却仍显不足
在递归自改进（Recursive Self-Improvement）中，AI 成为提升未来 AI 系统过程的一部分。这里的关键词是递归（recursive）：一个研究周期的结果会被反馈到下一个周期，帮助系统选择更好的改进方案。迭代意味着在重复自动化研究循环的同时，从每次尝试中学习：
提出想法 → 实施它 → 运行实验 → 评估结果 → 修订计划 → 再次尝试。
只有当 AI 利用所学内容重新思考下一轮背后的策略（包括训练方法、数据设置、评估流程或模型构建管线）时，这个循环才变得具有递归性。
如今，大多数智能体仅在**执行（Execution）**层面完成这一循环。但更广泛的"AI 提升 AI"过程仍然主要是线性的。
"后训练（Post-training）代理循环"
图片来源：论文《AI 后训练（Post-training）中缺失了什么：一项实证分析》
"递归"部分仍然受限：智能体始终在原定计划内运作。当人类指出方向时，它们可能会尝试不同的方法。但它们无法自主做出这种改变 。即使有人指出了错误，接下来的问题在于该修正应存在于何处，以及它能否在当前对话结束后继续生效。
更大的模型未必能解决这一问题。智能体可能需要经过训练，以识别何时某种方法不再奏效，并在检查点处暂停，询问是继续执行还是尝试其他方案。
这就是为什么研究人员如此重视策略（Strategy） 的原因。它决定了智能体下一步尝试什么。如果方法错误，再多的工作可能只会让它离正确方向越来越远。
幸运的是，另一项引人入胜的研究提出了一种切实可行的解决方案，以改进递归自改进（Recursive Self-Improvement）的过程。 →
Metan：提升递归自改进的分层方法
常见问题解答
AI 中的递归自改进是什么？
递归自改进（Recursive Self-Improvement）是指让 AI 成为优化未来 AI 系统过程的一部分。当一次改进周期的结果反馈到下一次循环中时，递归性便得以体现。这使得系统不仅能优化其输出结果，还能改进用于产生未来改进的策略、工具、记忆或流程。
当前是什么在限制递归自改进（Recursive Self-Improvement）？
主要限制之一在于策略（Strategy）。AI 智能体已经能够运行实验、训练模型、修复错误并对解决方案进行迭代，但研究表明，它们很少会主动放弃初始策略并选择一种根本不同的方法。更多的经验、人类指导或推理算力（Inference Compute）并不能完全解决这个问题。
AI 如何改进其自身的改进策略？
Metaⁿ 探索了一种通过递归地在现有求解器上方添加新层的方法。每一层都可以检查下方生成的代码、结果和失败案例，然后添加战略指导和可重用工具。因此，高层级能够获得对改进过程更广阔的视角，而无需修改底层求解器或固定的元操作（Meta-operation）。
记忆能否提升递归自改进（Recursive Self-Improvement）？
是的，但仅仅给智能体更多的记忆或技能可能还不够。Recuris 将经验记忆（Experiential Memory）与工作记忆（Working Memory）、技能调用策略以及验证机制相结合。它还从跨任务的失败中学习，以更新该记忆系统的相关部分，从而在模型权重之外创建一个受控的递归自改进（Recursive Self-Improvement）循环。
什么是递归自改进的新方法？
近期的研究正在探索多种方法来改进递归自改进（RSI）的不同方面。Metaⁿ 侧重于通过越来越深的元层（meta-layers）递归地改进策略，而 Recuris 则演化出一个外部记忆系统，用于控制智能体使用何种经验、何时使用以及任务进度如何验证。它们都未实现完整的递归自改进，但各自解决了一个特定的局限性。
原文 ：Why AI Agents Iterate but Never Rethink Their Strategy · 作者：Alyona Vert.