从 2025 年末的项目萌芽1，到 2026 年初的正式亮相2，OpenClaw3 把长期运行的助手带到了更具体的使用场景：任务跨越对话，工具连续调用，记忆和技能逐渐积累。一次工作完成后，留下什么，开始和这次能否完成一样重要。上一次失败的原因、修好的工具、找到的组织方式，能不能让下一次少走一段重复的路？
2026 年的 RSI（Recursive Self-Improvement，递归自我改进）研究，正在把这个问题往更深处推。经验的处理方法、搜索策略、反馈生成、组织能力，乃至产生下一代系统的研究过程，都逐渐进入优化空间。这一年的重要变化，是"改进能力"开始拥有更独立的设计对象、训练目标和计量：会解题、会利用经验、会制造下一轮改进，需要分别理解，也需要分别检验。
1. 经验留存
先看一个最小情形。Agent 写出程序，执行报错，读日志，再改一次。反馈帮助它完成当前任务；如果任务结束后，执行程序、工具和经验都回到原状，下一次仍可能重复同一种失败。
要让这次努力影响未来，变化必须进入后续会使用的状态。这里可以区分三个相关的动作：
- **任务内纠错：**修正当前尝试，收益首先发生在这次执行里。
- **持久更新：**程序、策略、技能或参数改变，后续任务从新状态出发。
- **改进机制学习：**处理经验、诊断问题、提出修改和安排学习的方法也发生变化。
综述《A Survey of Self-Evolving Agents》4 从更新对象、发生时机和反馈来源拆解这些动作。先把对象放进同一张图，才能追问：这次改了什么，谁会在下一次使用它？
图 1.1：可演化对象、发生时机、学习方法、应用场景与验收目标共同构成自进化的方法空间。
有了更新对象，还需要展开它怎样影响下一轮。综述《Recursive Self-Improvement in AI: A Survey》5 将更新对象、改进机制与代表研究对应起来：从中心向外，权重、任务、记忆、程序、反馈和改进者，分别接到训练、课程共演、经验复用、执行搜索、评价修订与研究程序改写。继承哪些状态、通过什么机制继续改进，是这张关系图的主线。 具体收益、能力保持与后继改进效率，则需要由后文的独立实验回答。
图 1.2：RSI 的更新对象、改进机制与代表研究，构成可继承的改进链路。
1.1 程序继承
早期的程序自改进已经开始接触"谁来制造下一次修改"。2025 年 4 月的 SICA6 从档案中选择当前效用较好的代理充当元代理，让它读取历史、实现修改，再将新版本及结果加入档案。效用共同考虑任务分数、美元成本与运行时间，基础模型权重保持不变。
2025 年的 Darwin Gödel Machine（DGM）7 给出了一个清楚的持久载体：代理自己的程序。编码代理读取实现、提出修改，新版本接受任务评测后进入档案，再成为后续编辑的起点。
档案不只保存一个冠军。某个版本当前得分不高，其中的工具或执行结构却可能对后来的任务有用。开放分支让这些发现有机会被再次选中和组合，避免一次择优就把探索历史清空。
图 1.3：DGM 将程序修改、任务评测和版本继承接成持续探索。
在论文的评测协议下，SWE-bench 子集表现从 20.0% 提高到 50.0%，Polyglot 全基准复测从 14.2% 提高到 30.7%。基础模型保持冻结，变化主要发生在工具、执行逻辑和工作流；自修改与开放档案的消融，也分别影响进展。学习由此有了权重之外的表达：后续请求调用的是一套已经改变的执行程序。
到 2025 年末，Live-SWE-agent8 已尝试在软件任务执行中创建工具、调整最小框架。离线搜索可以先比较许多实现，真实执行则会暴露事前未想到的接口问题。发生时机不同，跨任务收益仍共同依赖保存、选择和复用。
1.2 策略记忆
程序可以继续编辑，失败原因也可以成为下一次行动的依据。2025 年 9 月的 ReasoningBank9 将成功与失败轨迹经过自评、提炼，写成可检索的策略记忆，再由后续任务使用和更新。
例如，一条经验可以保留"执行到哪一步需要验证""什么条件下应换搜索路线"，而不只记录某次任务的最终答案。它的价值发生在新行动里：后续代理读到以后，是否真的少试一次无效调用、补上一次必要检查？
图 1.4：ReasoningBank 从成功与失败中提炼策略记忆，供后续任务检索与更新。
更早的 Reflexion10 用语言反思处理反馈，ExpeL11 从成败中抽取经验，Voyager12 与 SkillWeaver13 将探索产物磨炼为可调用代码技能。几种载体的形式不同，但都改变了后续系统能够读取或调用的东西。
综述《A Survey on the Memory Mechanism of Large Language Model based Agents》14 将写入、管理和读取分开，恰好解释了为什么"保存了"只是链路的起点。内容要合适，调用也要有效。
图 1.5：记忆机制的来源、表示形式与操作过程共同决定经验怎样进入行动。
年初的 MemRL15 把相关性与效用继续拆开：先按语义找到相关经验，再依照环境反馈更新效用，选择更可能帮助当前系统成功的经验。
相似性回答"像不像"，效用回答"能不能帮上忙"。 基础模型可以保持不变，经验与效用却随使用更新，下一次行动因此有了不同依据。
1.3 经验共享
一条分支留下的经验，也可以改变另一条分支的起点。2026 年 2 月的 Group-Evolving Agents（GEA）16 选择一组表现与行为具有互补性的父代理，共享框架补丁、失败轨迹和评测结果，再让成员各自生成后代。
图 1.6：GEA 让互补经验跨进化分支进入后继代理。
在配齐生成后代数量和模型使用阶段的对照里，GEA 的 SWE-bench Verified 表现为 71.0%，单体进化为 56.7%；共享和通信增加的 token 仍属于完整成本。这个实验的作用是说明：发现可以跨越谱系，一个成员探索出的工具或失败模式，可以进入另一成员的后继实现。
协作发生在产生后代的过程，目标可以是得到更好的单体执行者。部署时怎样组织多个 Agent，是另一条相关研究线，稍后再看。
到 2 月，程序、策略、技能与共享经验已经让改进可以留下来。新的问题也随之具体：经验越来越多，任务和环境继续变化，处理这些经验、寻找下一次修改的办法，能否也跟着学习？
2. 学习改法
就在经验复用和共享展开的同时，2025 年 12 月至 2026 年 3 月的一批工作开始改变"产生改进"的方法。综述《Self-Improvements in Modern Agentic Systems》17 将模型与外围 scaffold 放进同一配置：提示、记忆、工具和控制逻辑，都可能改变后续行为。重要的不只是可编辑对象变多，还包括它们怎样被诊断、提案和选择。
图 2.1：模型参数与外围框架是两类可更新对象，各自依赖不同的学习信号。
2023 年的 Promptbreeder18 已把任务提示与负责变异的提示共同演化：前者改变如何解题，后者改变怎样制造下一版提示。更高层的 hyper-mutation 提示和操作集合保持固定。这个早期例子让一个问题变得具体：改法可以拥有自己的可修改状态，最外层规则却仍可能固定。
2.1 记忆设计
2025 年 12 月的 MemEvolve19 把"记忆里留下什么"与"记忆系统怎样工作"分成内外两层。内层在当前架构下积累经验；外层根据成功率、token 与延迟，诊断并改写 encode、store、retrieve、manage 四类接口，保留互补的候选架构。
图 2.2：MemEvolve 分开经验更新与记忆架构演化，用任务效果和资源代价选择下一套读写机制。
架构比较的每个迭代从空记忆启动，让候选重新经历任务，而不是让较老的库仅凭积累量占优势。之后的跨任务和跨模型实验，再检验选中架构的适用范围。由此可以区分两条同期发展的路线：学习读写操作，以及优化设计本身。
一条路线先把记忆操作变成可学习行动。2025 年的 Memory-R120 训练记忆管理者执行添加、更新、删除或不操作，并训练回答者选择与使用记忆。1 月的 AgeMem21 进一步把长短期记忆的存储、检索、压缩和丢弃放进策略；2 月的 MemSkill22 将提取、整合和裁剪封装为技能，让控制器学习选择，让设计器根据困难案例修订内容。
5 月的 ExpHarness23 将另一种对象交给训练：检索 copilot 决定在经验图上搜索多远，以及相似性和历史效用怎样权衡。训练时，用同一冻结执行者在有／无经验条件下的分差，加上绝对任务成绩，共同更新 copilot 与图效用；评测时两者固定，只保留经验条件化执行。检索集合中的各条经验共享同一奖励，因此图效用是集合级反馈的历史估计，还不能直接代表单条经验的独立贡献。执行模型因而可以被替换，迁移实验再检查旧 copilot 与旧图是否仍适合新消费者。
图 2.3：ExpHarness 学习经验图的检索控制，训练时用有／无经验的执行差异更新，评测时冻结图与 copilot。
这些方案开放的是不同层次：经验怎样选择，读写动作怎样安排，以及表示与处理程序怎样实现。除了训练操作政策，还可以直接改变生成和管理上下文的程序。
ACE24 在 2025 年 10 月将上下文维护为增量更新的 playbook，减少反复重写造成的细节丢失。1 月末的 Meta Context Engineering（MCE）25 继续追问：制造上下文的工程技能，能否根据使用效果改变？
MCE 的内层执行工程技能，产出文件、代码和随查询工作的上下文函数；外层读取技能历史、轨迹和评价，搜索更合适的工程技能。这样，优化不再局限于将同一段文字写长或压短，系统可以改变怎样组织信息、调用什么程序来生成所需上下文。
图 2.4：MCE 分开优化上下文产物与制造产物的工程技能。
学习发生的位置也要分清。论文的离线设置演化工程技能，在线单遍设置则使用已经确定的技能或无技能代理。后者处理新输入，前者改善处理输入的方法。
2 月的 ALMA26 将记忆设计直接表示为代码，包括内部数据库组织、更新和读取机制。元代理提出设计，任务代理先积累经验，再在后续任务中使用记忆；外层按使用后的表现选择设计。
图 2.5：ALMA 以积累经验后的使用收益，选择记忆表示与读写程序。
记忆设计应该接受"积累经验以后是否更好"的评价。 为降低方差，ALMA 在搜索阶段采用静态记忆部署，最终再检查静态复用和动态更新。不同环境得到的表示也不同：物体与空间关系可以显式组织，游戏规则可能更适合抽象策略。这个差异来自未来怎样用，而非哪一种库看起来最完整。
信息的组织形式也会影响行动。11 月的 EnvOpt27 固定目标模型和 harness，只优化跨任务共享的环境表示：同一份底层信息可以组织为目录、索引、cheatsheet、数据库和工具入口，让代理更容易找到并使用它。优化阶段从无答案、无 grader 的训练任务获取执行轨迹，另用验证任务选择环境版本。
图 2.6：EnvOpt 固定模型与 harness，离线优化环境表示，并用独立验证结果决定停止。
改变信息怎样到达代理，也是一种可继承的系统更新。 EnvOpt 的写入面是环境表示，ALMA 的写入面是记忆读写程序；两者都可以保持执行模型不变，收益却来自不同的接口。
2.2 搜索换挡
一个固定改进流程已经能够搜索很广的空间。ADAS28 在代码里设计代理，GEPA29 从执行轨迹上的反思演化提示并保留互补候选，AlphaEvolve30 用执行验证搜寻算法与基础设施程序。它们可以制造许多更好的产物；搜索过程怎样应对不同阶段，则是另一个对象。
2 月末的 EvoX31 同时维护产物与搜索策略。内层依照当前策略选择父候选、参考集和变异方式；外层根据种群状态和搜索进展生成新的策略代码。换挡时，之前的产物档案继续保留。
图 2.7：EvoX 在产物搜索之外，依据进展修改搜索策略。
原因很具体。早期要打开解法空间，中期要组合互补发现，接近较好区域后又适合精修。固定的探索---利用比例很难一直合适。把搜索选择表示为可更换程序，就能让停滞和阶段变化进入下一次搜索决策。
基础模型可以不变，新的学习状态发生在控制代码。论文主要开放框架比较配齐了迭代数量；闭源系统原始成绩的成本信息要另看。值得保留的不只有最高分，还包括某种搜索选择在什么条件下有用。
3 月的 Bilevel Autoresearch32 进一步区分参数调整与搜索机制修改。内层试验训练配置，中间层调整哪些参数继续探索，外层读取研究程序和轨迹，生成可注入的搜索机制代码。实验配齐 30 次、每次 300 秒的训练试验，外层推理和运行时间仍是额外开销；它提供的是机制改写的案例，系统净收益还需要完整预算对照。
9 月的 Dream-RSI33 又把搜索历史变成改进搜索的方法。在线探索产生 discovery tree，每个节点保留尝试与已经观测的结果；系统将树编成 replay worlds，在离线重放中比较探索政策代码，再把选中的政策送回在线探索，继续扩大历史。
图 2.8：Dream-RSI 将在线发现历史编成可重放环境，离线改善探索政策，再部署下一轮探索。
这里的"世界"由已有发现及结果构成。基础发现代理、模型、评价器和接口保持固定。沿同一棵 discovery tree 重排分支、顺序、并行度与停止政策，可以复用一次昂贵探索留下的已知结果；新的在线发现再扩展树的范围。
10 月的 ExpEvolve34 将经验的控制粒度进一步抬到 idea factors。它从已评程序中提取高层因素，比较因素表示解释不了的大分差，寻找遗漏因素，再将发现转成添加、删除等编辑动作。
图 2.9：ExpEvolve 从程序间的分数差异发现高层 idea factors，让经验决定下一次编辑什么。
因素发现回答"该改哪里"，预算安排决定"下一次怎样试"。ExpEvolve 的外层在开放搜索与想法引导提案之间分配试验槽位，保留寻找新对照的机会；内层再用多臂游戏机选择添加、删除或设置哪种因素。
这使经验从"参考哪份代码"走向"保留哪种机制、改变哪类设计"。搜索政策和 idea memory 承担控制作用，具体程序仍通过执行评价决定是否值得继承。
2.3 元代理
更早的 STOP35 将一个"调用模型、比较候选、返回较好程序"的 improver，用于改写 improver 自己。它按后续程序改善的 meta-utility 选择新版本。五次独立运行里的平均收益并不意味着每轮单调：更会改善目标程序，未必更会改善自身；较弱底座上还出现退化。这个区分后来成为验收改进者能力的重要问题。
更早的 Gödel Agent36 已将自身程序和改进例程放入可修改空间。3 月提出的 Hyperagents37 则把任务代理 A 与元代理 M 明确分开，再共同放进一份可编辑程序：A 执行任务，M 诊断、修改并制造下一代；M 的计划、记忆与改写逻辑也能被编辑。
DGM 中，执行和自修改都涉及编码，编码能力提升可能同时帮助两件事。换到其他任务，这种对齐就需要重新检查。Hyperagents 将产生修改的机制单列，使"做得更好"与"制造改进的方法更好"获得不同观察位置。
图 2.10：Hyperagents 将任务代理与元代理放进共同可编辑程序。
在其 11 月修订版报告的迁移设置中，作者把从论文判断与机器人奖励设计中学到的 M 迁到未参与演化的奥数解答评分任务，再冻结 M，观察它在 50 次迭代预算下产生的后继任务代理。仅迁移 M，已几乎恢复同时迁移 A 与 M 的收益。
可迁移的对象，是制造修改的办法，而不是上一题的答案。 收益包括接口与输出格式修复，较强起点另有实验；基础模型、任务协议和主实验父代选择保持固定。把这些条件分开，改进能力就比一个自进化总分更容易理解。
4 月的 Escher-Loop38 将任务程序与优化器同时保留为种群；其具体实现中的优化器是指导 LLM 修改程序的提示。优化器既能制造新的任务程序，也能修订另一优化器。为避免"改过容易父代"和"改过困难父代"的绝对增量混在一起，它让被比较的优化器处理同一批父程序，再用执行结果形成相对胜负、更新 Elo。
图 2.11：Escher-Loop 以同父任务上的执行胜负评价优化器，让任务种群与优化器种群相互提供改进信号。
三类几何优化实验使用 10M 价格折合的 output-token equivalent 预算。冻结的最佳优化器在两类任务上保留了有用行为，在另一类任务上却弱于人工基线，也不能复现持续演化种群的最高点。一次找到更好的改进器，与维持适应不断变化的问题分布，仍是不同能力。
2.4 诊断历史
产生改进还需要知道旧方法怎样失败。一个分数说明失败了，原始输出和代码才能帮助定位失败在哪。工具返回格式不合约、验证缺失、上下文被错误截断，都可能被简短摘要误归为推理不足。
2 月首发的 AutoHarness39 说明诊断并不总要落在推理本身。它从游戏执行反馈生成动作合法性检查与动作提案代码：检查器可以过滤或阻止非法动作，进一步的 code-as-policy 甚至把决策逻辑移到代码。145 个游戏上的动作合法性测试，与其中 32 个游戏的实际玩法比较，是两组不同观察；接口合约修好以后，策略是否更好还要另测。
图 2.12：AutoHarness 从环境执行反馈生成动作检查与提案代码，让接口合约成为可学习的程序。
3 月末的 Meta-Harness40 为固定提案者提供文件系统，保留历次代码、评分和原始轨迹，由提案者选择性读取，再搜索任务 harness。
图 2.13：Meta-Harness 将历史代码、评分和原始轨迹开放给改进提案。
在线分类实验中，访问原始轨迹优于仅评分或评分加摘要；选中 harness 的平均准确率为 48.6%，ACE 为 40.9%，额外上下文约为 11.4K 对 50.8K token。新的分类数据与数学实验承担迁移观察，TerminalBench 则在同组任务上搜索和终测，展示特定基准上的发现能力。
TextGrad41 更早将语言反馈沿计算图传给需要修改的变量。后续的 Agentic Harness Engineering42 把组件、经验和决策证据文件化，并让修改附带可检查预测；Self-Harness43 根据自身轨迹定位弱点，用小改动和回归测试接续。这条可观测性路线，把提出修改和之后发生什么连接起来。综述《Self-Evolving Coding Agents》44 对框架、记忆、技能、工作流与环境的拆分，也帮助我们看清具体哪个写入面改变了。
图 2.14：编程代理的技能、工具、记忆、工作流与模型构成不同的改进接口。
固定提案者读到更好的证据，与元机制自身变强，属于不同变化。诊断历史让修改有了依据，运行中的干预还需要合适的时机。
2.5 在线改进
离线档案能够帮助选择长期有效的方法，运行中的新证据又可能要求及时干预。10 月的 Harness²45 把两种节奏分开：任务内执行 Propose--Probe--Compose，以有界并行或顺序递归比较并组合 harness 修改；跨任务则保留被采用的 harness 和 lessons，更新之后负责改进的 harness。
图 2.15：Harness² 分开任务内的提案、探测与组合，以及跨任务的改进经验继承。
任务层循环中的改进 harness 保持固定，之后才进入跨任务更新。基础模型冻结；开放任务的候选比较依赖代理反馈，而非随时可读的标准答案验证器。
11 月的 Meta²46 则先离线学习什么时候、怎样干预。它对比无 evolver、当前 Meta-Skill 引导、训练期特权 verifier 引导的三类轨迹，提炼该行动、该避免和该保持的文本经验，形成可复用 Meta-Skill。
图 2.16：Meta² 从离线对比轨迹学习 Meta-Skill，部署时用冻结知识指导不中断环境的任务内修改。
部署后，Meta-Skill 冻结；在线 evolver 在检查点决定保留或修改当前任务的 harness，执行代理沿同一条轨迹继续，环境与进度不重置，也看不到持出 verifier。离线可以学习干预知识，在线再依据当前证据选择干预时机。
这些不同的学习入口共同依赖反馈。同期研究还在学习怎样出题、评论和构造实验，让反馈本身成为更有用的学习条件。
3. 反馈学习
3.1 教学能力
2025 年 11 月的 AgentEvolver47 将 self-questioning、self-navigating 与 self-attributing 连成训练系统：在给定环境描述和用户偏好下探索，生成并重放验证代理任务，复用经验指导行动，再为轨迹中的不同步骤分配反馈。
2025 年末的 Agent048 从同一底座建立课程代理与执行代理，将工具交互带进共演化。课程侧依靠执行者的不确定性、工具使用等信号提出练习，执行侧再学习这些任务，能力变化又影响之后的课程。
图 3.1：Agent0 将课程生成与工具执行接成相互更新的训练循环。
R-Zero49 也用出题者与求解者共同演化课程。"零任务数据"在这些设置中指减少额外人工策划，学习仍继承预训练知识和工具规则。RSIR50 在推荐任务里加入保真度筛选，避免生成序列偏离需要学习的用户偏好结构。
到 1 月，SOAR51 对课程提出了更直接的目标：教师的奖励来自学生在固定困难目标上的实际进步。初始成功率极低时，直接强化学习几乎没有有效信号；教师尝试生成能够让学生突破停滞的踏步练习，再看学生回到困难目标后是否改善。
图 3.2：SOAR 以学生在困难目标上的实际进步训练教师。
这个设置把两种能力分开。模型可能不会解困难题，却已有生成相关简单练习的潜在知识。元强化学习训练的，是从这些潜在知识中更可靠地找出有帮助的学习材料。问题结构和难度校准的重要性，也可能高于生成答案完全正确。
会教和会解，可以具有不同的表现。 对照真实学生进步与内在可学习性奖励，SOAR 让"这道题值得练"由练习后的目标收益回答。困难目标和可执行奖励保留了比较锚点，教师则学习怎样创造更好的学习条件。
经验也能反过来决定练什么。6 月的 Socratic-SWE52 把 Solver 的成功与失败轨迹提炼成 Agent Skill Registry，再据此生成真实仓库中的修复任务。任务先通过格式、环境事实、执行与语义检查，Generator 的奖励再看该任务诱导的 Solver 梯度是否与可信验证任务方向一致。
图 3.3：Socratic-SWE 让解决轨迹变成技能，再由技能引导下一轮可执行且面向能力缺口的课程。
其自演化方法对照配齐 Qwen3.5-9B Solver、mini-swe-agent harness 与每轮训练实例规模。它将两项职责分开：验证任务能否成立，以及任务是否值得拿来推动当前学习。课程由此不只适配难度，还能响应真实执行暴露的能力缺口。
课程也可以服务于探索，而非参数训练。9 月的 RSIAgent53 让 curriculum、actor 与 verifier 围绕新环境协同：先广后深地探索可行任务，检查结果，把得到的规则与经验写入记忆。
图 3.4：RSIAgent 通过课程、行动与验证探索新环境，将经过检查的经验留给下游任务。
探索结束后，系统冻结记忆再接受下游任务评测，模型参数始终保持不变。被学习的是环境经验与使用条件，课程负责创造值得探索的机会。
3.2 评论准则
评价能力学习已有先导：Self-Rewarding Language Models54 用模型判断生成偏好并迭代 DPO；Meta-Rewarding55 将判断质量纳入元反馈；Self-Taught Evaluators56 用合成比较数据训练评价器。深度研究中的 DR Tulu57 再让 rubric 吸收检索信息和回答比较，反馈越来越依赖任务中发生的事情。
2025 年 12 月的 SWE-RM58 已用两组几乎相同的测试时选择收益，展示奖励消费者不同带来的差异：两位 verifier 都能把较好轨迹排到前面，用来训练策略时却一个稳定改善、一个发生崩塌。研究因此同时检查 top-1 选择、AUC 区分能力与校准。会挑答案，与能提供可靠的学习梯度，不由同一种排名充分代表。
1 月的 ECHO59 将失败诊断作为训练输出，用修订后的实际任务收益训练评论者。策略改善后，失败分布也改变，过去有用的评论需要跟随新问题。
对不能直接验证的任务，1 月的 CoNL60 使用同行反馈：同策略、多 persona 的代理先独立排序，互相评论并修订，再以同行评分的变化训练诊断与生成。这个评分增量是学习代理信号，开放任务上的实际质量仍由独立的下游评价检查。
5 月的 EvoLM61 将产生准则与执行准则评分分开。模型交替学习回答和 rubric，小型 judge 保持冻结；rubric 的奖励来自对预设偏好对的区分能力。
图 3.5：EvoLM 共同学习生成与评价准则，由固定 judge 执行评分。
论文在十二项下游评测上的均值为 69.3%。更值得记住的对照是：评价器在静态偏好基准上的排名，与它实际训练出的策略排名并不一致。擅长判断现有答案，和能够推动有效学习，是相关但不同的能力。
5 月的 Self-Trained Verification（STV）62 利用另一种监督来源：让同一模型在看到参考解后产生更有信息的错误定位，训练不看参考解的 verifier 模仿它。之后的 verifier-in-the-loop 训练冻结 verifier，只更新生成者，以最终答案的可验证正确性给奖励；收益也会进入生成者不带 verifier 的首次回答。
图 3.6：STV 先蒸馏更知情的自我验证，再冻结 verifier 训练生成者使用反馈。
这里减少的是人工标注反馈质量的需求，参考解仍承担训练信息。
6 月的 Q-Evolve63 从专家示范与代理轨迹的混合分布学习 critic，并通过行为邻近的策略更新减少评价与执行分布漂移。
SCORE64 将深度研究生成与评价放进共享参数模型；DeepSeek-V465 技术报告也披露了生成式奖励模型和评判训练。要理解这些贡献，仍需回到生成、比较与训练的具体信号：反馈的价值，最终发生在它怎样改变消费者的学习与行动。
3.3 环境学习
反馈还可以改变代理之后会遇见的环境。2025 年 12 月的 GenEnv66 共同更新 Agent Policy 与生成任务的 Environment Policy：前者学习任务，后者依当前成功率生成难度适中的变体。结构化动作与开放回答使用不同奖励，累计轨迹和新的任务生成共同进入后续训练。其部分基准按单步或独立 turn 评测，解释收益时要与长程任务完成率分开。
图 3.7：GenEnv 用当前学习者的表现更新任务生成政策，让任务难度与策略训练相互反馈。
2 月的 VLAW67 则进入真实机器人交互。当前策略的成功与失败 rollout 用于改进视频世界模型，首轮还校准奖励模型；更可信的模拟器再生成轨迹，筛出的模拟成功轨迹与真实成功轨迹共同训练下一策略；真实失败主要进入世界模型与首轮奖励模型的校准。
图 3.8：VLAW 用真实策略 rollout 校准世界模型，再以筛选后的模拟轨迹改善下一轮机器人策略。
接触、形变与近成功失败，让只看专家成功示范的模型容易过于乐观。真实 rollout 更新模拟分布，策略变化又带来下一批不同的交互。前面 Dream-RSI 使用已有结果重放搜索，此处更新的是预测物理后果的模型："世界"承担什么作用，由它怎样被学习和使用来决定。
3.4 执行锚点
在 AI 研发里，这个问题尤其昂贵。一段研究想法看起来合理，未必能被实现，也未必在训练后有效。1 月的 Execution-Grounded Automated AI Research68 将自然语言提案变成代码补丁和真实 GPU 实验，让 Implementer、Scheduler、Worker 共同构成执行反馈接口。
图 3.9：真实执行研究将提案转成实现、调度与 GPU 实验，再回传学习信号。
十个搜索 epoch 内，执行引导搜索在 1.5B 数学后训练实验中，将验证准确率从 GRPO 的 48.0% 提到 69.4%；在预训练实验中，达到同一目标验证损失的时间从 35.9 分钟缩短到 19.7 分钟，专家参考仍为 2.1 分钟。
执行奖励 RL 改善了平均提案表现，最佳产物上界却没有持续提高，提案还向少数容易实现的方法收敛。平均质量、探索多样性和最好产物，给出了不同答案。 把想法真正跑起来，既能发现有效方法，也能暴露学习目标没有覆盖的东西。
3 月的 PostTrainBench69 则给代理一张 H100、十小时与目标任务，让它自行选择数据和算法，最终 checkpoint 接受固定评测。
图 3.10：PostTrainBench 在给定底座、目标与 GPU 预算下评价自主后训练产物。
在该研究的加权评测套件中，最强代理均值为 23.2%，官方 instruction-tuned 基线为 51.1%；个别明确的函数调用目标上，代理又可超过对应官方模型。窄任务优化和跨任务后训练需要分别观察。模型替换、数据污染等失效模式，也让产物身份成为评价协议的一部分。
The AI Scientist 的正式系统研究70 将想法、代码、实验、分析与写作放进端到端流程。执行链可以自动化，研究提案怎样变得更有效、研发者自身怎样继续学习，则成为后面的独立问题。
3.5 评价校准
多种对象一起学习，反馈之间也会相互影响。年初的 RLAnything71 已同时更新环境、策略与奖励模型；6 月的 Red Queen Gödel Machine72 让任务代理与评价器共演，并在部分领域用人工评分锚定。
综述《Recursive Self-Improvement in AI: From Bounded Self-Refinement to Autonomous Research Loops》73 用"改变什么"与"由谁验证"两条轴组织自改进方法，并进一步区分可执行验证、外部评价与内在判断。反馈参与训练与验收的方式，需要随任务可验证范围一起确定。
图 3.11：自改进方法需要同时说明改变什么，以及由谁验证。
7 月的 Who Grades the Grader?74 搜索可读的评价表达式，将小型缺陷检测器组合为评分函数，以十个带参考的锚点约束选择，再和技能库构成 Double Ratchet 双棘轮。
图 3.12：Double Ratchet 将评价器与技能更新分开，用锚点约束评分。
移除锚点防护后，评分器几乎对所有输出判通过，技能环却仍可通过无筛选练习得到相近任务表现。这组消融让两件事显露出来：练习可以取得收益，裁判是否可靠还要直接检查。
指标演化不读取 locked 参考集，指标有效性有独立检验；技能环会使用该集合评分和回滚，技能成绩的解释范围不同。训练可用的反馈，与决定是否继承更新的裁判，需要有清楚的职责分工。
这些研究为经验处理、搜索、教学、评论与执行反馈建立了不同的学习入口。接下来要看：这些外显方法怎样进入执行者的能力，又怎样彼此创造更好的学习条件？
4. 能力协同
综述《Co-Evolution in Agentic Systems》75 从同伴、环境和元机制区分耦合对象。对具体系统，更有帮助的问题是：一个更新改变了谁的输入，谁再用新状态产生下一轮数据和决策？
图 4.1：共演让多个可更新组件通过任务、交互与反馈相互改变学习条件。
4.1 训练改法
早在 2025 年，SEAL76 就让模型生成自编辑，将输入知识重组为训练数据并给出更新指令，外层按更新后的任务表现训练这种生成能力。适应输入的方法由此进入了目标。
SAGE77 通过相似任务链训练技能生成和集成，SkillRL78 用分层 SkillBank 保存通用技能与任务启发式，Evolving-RL79 将经验提取器与求解器联合训练。它们将"提炼什么"与"怎样使用"逐渐接到一起。
5 月的 CODESKILL80 将提取、修订和维护技能库变成可训练政策，任务执行者冻结。对生成或改写技能，它结合准则反馈、相对无技能基线的执行收益，以及轨迹是否体现技能使用的对齐因子；部分保留与丢弃操作仍依赖准则奖励。
图 4.2：CODESKILL 学习提取、修订和维护技能，用冻结执行者的收益及使用证据约束技能输出。
这让"技能写得像不像样"与"技能是否被使用并帮助行动"进入不同反馈。对齐因子是信用分配的代理，真正迁移还要由新的消费者与任务检查。
5 月的 Harness Updating Is Not Harness Benefit81 已指出提案者和消费者的能力应分开观察。新指导被生成出来，执行者还得正确加载，并在长程行为中遵循。这个间隙使消费者能力成为训练中的实际问题。
7 月的 MetaEvolve82 将当前程序、执行分数和历史尝试作为训练条件：新程序没有改善就受到惩罚，有改善时奖励与正确性和效率变化关联。目标是给定起点之后产生有效修改，而非独立生成一个好答案。
图 4.3：MetaEvolve 以执行反馈和历史条件训练产生有效修改的能力。
训练历史由静态响应池重组，部署后进入固定搜索框架。历史消融、无关历史与普通代码 RL 的比较，支持有效历史的作用；七个代码基准各抽取 50 题，主要指标是改善率，Codeforces 对照仍更高。
8 月的 Harness-R183 则训练专职 harness engineer。工程者读取冻结目标代理的失败，生成生命周期 hooks；新版本让原批次里的失败与成功任务一起重跑，以整批收益训练编辑政策。
图 4.4：Harness-R1 让可训练工程者生成执行 hooks，用同一冻结目标的整批重跑收益训练修改能力。
训练更新工程者而非执行者，同批重跑定义的是 transductive 修改目标，patch 不跨批次累积。另做任务与目标模型迁移，再检验学到的编辑政策。
10 月的 Evo²84 将这一问题放进改进者与执行框架的共演。Proposer 与 Reflector 共享一个 evolver 模型：前者编辑 harness，后者读取执行反馈，决定修订、交叉或保留；轨迹再通过 EvoTIDE 形成监督与角色交替的强化学习信号。
图 4.5：Evo² 用 harness 编辑与执行反馈更新改进者，再由新的改进者指导下一轮框架搜索。
这条共演需要可执行的编辑轨迹。EvoTIDE 从没有显式动作的记录中提取并验证具体修改，或恢复失败前缀后继续编辑，再把编辑与反思数据用于 SFT 和交替强化学习。
任务执行模型在共演中固定，被训练的是制造改进的模型。执行者权重更新与改进者权重更新，回答的是不同问题。 一个考察怎样使用更好的框架，另一个考察怎样制造更好的框架。
编辑政策已经可以从历史中学习，执行者能否在新任务家族里从经验库的空起点学得更快，则是随后需要单列的对照。
4.2 联合更新
只改善执行框架，旧模型可能还不会用新接口；只改善模型，旧框架又可能继续产生无效调用和低质量轨迹。5 月的 SIA85、7 月的 Co-Harness86 开始把两端放进同一训练过程。
Co-Harness 先固定当前模型，用失败轨迹定位提示、工具 schema、技能与中间件问题，提出局部补丁。验证改善目标失败且不回退保留行为后，再用改好的框架收集高质量轨迹，微调下一模型。
图 4.6：Co-Harness 交替改善执行框架与模型，使轨迹生成条件参与学习。
框架改变学习数据产生的条件，模型学习这些轨迹，又暴露下一轮不同的框架瓶颈。 两个环通过真实执行发生联系，接受的修改也有可检查的理由。工具接口不合约时，让模型想得更久未必能解决；修正接口后，才有机会形成值得学习的交互。
Continual Harness87 在不重置环境的长运行中调整提示、技能和记忆，再用教师重标注连接模型学习。运行状态、框架修改与参数学习的节奏不同，学习发生的位置需要分别记录。
9 月的 Harness-Zero88 提供了另一个接续位置：先演化专用 harness，再把其指导作用转成学生能够学习的轨迹。学生在固定目标动作空间里提出响应，harnessing agent 私下审阅并修正，纠正后的响应通过目标 harness 执行，进入学生后续上下文。
图 4.7：Harness-Zero 将专用 harness 的指导作用转成审阅后轨迹，训练后移除额外审阅组件。
SFT 学习的是审阅后的响应与执行轨迹，审阅代理的私有推理不直接作为学生监督。部署时移除专用 harness 和审阅代理，观察学生在原目标接口里的能力。外显指导可以先改善数据，再由训练把其中可学习的部分带入模型。
4.3 组合深度
组织也可以改变学习条件。GPTSwarm89 将代理操作与通信表示为可优化图，AFlow90 用代码和算子搜索工作流。年初 Kimi K2.591 的 Parallel-Agent Reinforcement Learning 则训练编排者，冻结子代理并把其输出视为环境观测。
图 4.8：Kimi 的编排者学习分解与协调，子代理保持冻结。
高层策略学习何时并行、怎样分派和整合，底层负责具体执行。信用分配因此有了不同位置：组织知识既可以外显为图和程序，也可以内化为编排者能力。
更早的 MAST92 已从轨迹中归纳系统设计、成员不一致与任务验证失败。Scaling Agent Systems93 的跨模型、五架构、六基准比较也显示任务条件：260 组配置里，可分解金融任务的较好组织相对单体平均提升可达 80.8%，强顺序规划的某些配置则下降达 70.0%；完整成本覆盖其中四基准的 180 组配置。
组织学习要保留分工和通信有用的条件，也包括保持单体、串行和及时停止的条件。增加成员并不会自动补上丢失的前置条件和验证责任。
8 月，Mendel Gödel Machine94 通过同一代理跨任务、不同代理同任务的轨迹比较，为修改提供更细信号。Metaⁿ95 则选择另一种组合方式：固定元操作 Ω，递归读取下层实现和轨迹，构建前处理策略与可调用函数库。
图 4.9：Metaⁿ 以固定元操作读取下层系统，递归组合前处理与函数库。
增长的是求解器栈和它能使用的信息，元操作保持固定。一个 LawBench 案例中，新增层带来有用函数，也带入过强分析指令，表现回落；后层保留函数、回退指令后恢复效果。组合改变的不只有能力数量，还包括已有能力被怎样调用。
9 月的 R² Flow96 把组织控制和技能编辑连接起来。对于只在独立步骤次序上不同的历史，共享状态图合并等价执行，让证据能够汇集；Supervisor 与 flow network 在图上学习，系统分别读取 flow share 和 signed utility。
图 4.10：R² Flow 汇集等价状态上的执行证据，分开读取流份额与有符号效用，再决定技能库编辑。
flow share 是奖励匹配流经技能的归一化份额，由训练轨迹按平衡残余加权估计，用于安排关注与验证；signed utility 则比较同一状态下某个事件相对参考事件的预期收益。独立 verifier 约束编辑证据，残余方差平台决定何时结束当前训练阶段。版本化技能库一旦更新，下一阶段的图与学习条件也随之改变。
10 月的 EvoTeam97 则同时保留团队、团队专属交互规则与个体技能。团队组成可以选择或创建，协作规则限定在兼容团队上下文中使用，个体技能则可以跨团队复用；执行后的不同 reflector 分别修订这些对象。
图 4.11：EvoTeam 将团队组成、团队内协作规则与个体技能作为不同层次的持久经验共同演化。
组织经验需要带着作用域继承。 适用于某个团队的沟通约定，与可迁移的个体技能具有不同的复用边界。
组织与个体技能的继承分开以后，还需要决定下一步怎样改进。面对同一批失败，先动哪一类状态，什么条件下改用另一种方法？
4.4 改进编排
多个对象都能更新以后，系统还要决定先改哪里、怎样安排下一步。9 月的 MetaRSI98 给出一个有区分力的设计：Data-RSI、Harness-RSI、Model-RSI 共用一个 loop kernel，却分别只写入数据、执行框架与模型状态。诊断与提案由可修改政策驱动，执行、选择等代码环节受保护；sealed evaluator、gate 与 ledger 留在所有写入面之外。
图 4.12：MetaRSI 用同一改进内核区分数据、harness 与模型写入面，再由两层元政策安排算子与改法。
它进一步分开两条优化轴：横向选择算子和应用顺序，纵向改写某个算子的提案政策。RSI² Agent 负责这两类选择，MetaRSI² Agent 再按每个 improvement term 的结果修订调度者。顺序取决于学习信号怎样产生：harness 改变后，旧数据仍反映旧执行条件，图中因此排除直接的 H→M 转移，要求经过数据重编译再进入模型更新。
多环的价值来自可解释的依赖，而不只是更新对象的数量。 修改什么、怎样提案、由谁调度和由谁验收，在这个框架中具有不同权限。其闭环验证落在机器可检查的代码与闭式科学任务上，开放科学问题仍需要相应的外部评价与实验条件。
10 月的 RSIFlow99 将瓶颈选择做成具体调度流程。元代理在 Model（参数）、Harness（执行框架）和 Artifacts（代码、解答等任务制品）中选择一个组件更新，保留另外两类，以同一 parent 和评估 batch 比较候选，接受首个有效正增益修改。
图 4.13：RSIFlow 依据瓶颈选择单个组件更新，将结果提炼为技能、原则与下一轮 meta-harness。
执行结果再被提炼为组件技能与跨组件原则，更新 meta-harness；元代理的基础模型保持固定，任务模型则属于可训练对象。经验不仅指导执行，也指导下一轮该在哪里投入改进预算。
到 10 月，执行者、组织者与调度者已经拥有不同的更新接口。组织者是否更会组织、执行者是否更会利用经验，稍后由交叉实验集中检验。研发线上还有一个更直接的问题：制造这些改进的研究者自身，能不能成为下一次优化的对象？
5. 研发自改
真实执行让研究提案可以接受反馈，5---7 月的联合更新又让数据生成过程与模型学习相接。研发线同时开始追问：如果决定做什么实验、怎样搜索和记录发现的研究者也能变化，下一轮会留下什么？
3 月的 EvoScientist100 已把研究记忆拆成两个消费者：Researcher 读取可行与失败方向，Engineer 读取数据处理和训练策略；Evolution Manager 从任务后的交互更新两类记忆。它比较想法质量、代码执行和端到端研究产物，优化入口主要在记忆与搜索，而不是直接训练研究者权重。
图 5.1：EvoScientist 将研究方向记忆与实验策略记忆分开，供提案者和执行者在后续目标中复用。
这给研发积累留下了可读取的状态。接下来需要看：产生这些状态的方法，是否也会随结果改变。
5.1 政策继承
6 月的 A-Evolve-Training101 自主执行四轮 30B 模型后训练。每轮从固定底座重新分叉，跨轮保留研究政策和发现日志，候选因而有可比较的起点。
图 5.2：A-Evolve 固定实验底座，让研究政策与发现跨轮继承。
一次变化很有解释力：内部开发指标继续上升，外部目标却停滞，研究政策转向重加权、数据平衡等干预。被继承的不只是一个训练产物，还包括如何诊断指标偏离、下一轮该试什么。
其历史挑战得分为 0.86，对照当时最高提交为 0.87。这个锚点说明具体任务家族上的竞争位置；更一般的认识来自状态分工：固定实验底座，可以让研究方法改变，同时保留候选之间的可比条件。
10 月的 RSI-Opt102 将这种继承延伸到训练过程本身。单次训练里，optimizer agent 在预定检查点读取损失与诊断，修改优化器和诊断程序；跨训练运行，meta-agent 从档案与运行证据中演化 prompt、playbook、代码库和干预节奏。
图 5.3：RSI-Opt 分开训练过程内的优化器适应，以及跨运行的政策、经验与干预节奏演化。
实验固定模型、数据、损失与更新次数。大部分已见任务收益来自初始决策，持续适应在持出任务上也出现收益；相同决策次数仍需和实际 token、运行时间分开。论文附录记录过一次持出任务描述的读取，已排除直接暴露的政策及其后代，但档案摘要是否向其他谱系传播信息尚未排清。训练过程内的适应与跨运行的政策继承由此有了可观测对象，严格迁移评价还需要完整的访问与谱系记录。
10 月的 Athanor103 再以真实 GPU、去污染数据、固定评价和持久研究记录支持自主后训练。执行环境、研究日志与产物评价开始成为研发者可以持续使用的共同条件。
5.2 研究机制
6 月的 Heuresis104 将研究质量、多样性与新颖性分开比较。六类搜索策略共用提案、执行、外部 grader 与审计流程，在预训练、on-policy RL 和模型遗忘三类任务上探索；产生可运行、高分的变化，不必然扩展质量---新颖性前沿。
图 5.4：Heuresis 在共同研究执行流程上比较六类搜索策略，分别观察质量、多样性与新颖性。
在研究报告的 3,222 次 scored runs 中，没有想法被评为完全原创，少量较新想法也很少进入质量前列。每个策略---任务组合对应一次多日 campaign；3,222 是候选实验数，并非同数目的独立重复研究。这个观察限定在其任务与新颖性判定中，却指出研发验收的重要分工：执行成功、指标改善与科学新意，需要分别留下证据。
9 月的 AIDE²105 将研究代理自己的代码作为优化对象。内层在固定金额预算下改善研发程序，预算包括模型调用和程序执行；外层修改内层代理的搜索、上下文与记忆，以各任务私有分数的聚合选择版本。
图 5.5：AIDE² 以固定预算下的研发结果，选择可继续改写的研究代理。
内层优化可见信号，外层使用隐藏评价。每次被接受的代码改写又成为之后继续编辑的起点。八天运行包含初始代理和 99 个修改候选，接受七次接续改进；另两次运行分别接受两次和四次。
后继代理在四个未参与选择的基准上达到或超过强人工研发基线，其中天气预测提供一个任务、三个种子的领域外迁移观察。这让研究代理的预算效率获得了实际检验，而不只是研发想法看起来更合理。
此前的 Huxley-Gödel Machine106 已用后代表现聚合估计谱系的未来生产力：当前任务最高分的节点，未必最值得继续扩展。AIDE² 又把更强的问题直接放进 ignition test------进化后的研究者放到外层，能否更有效地制造研究代理？
两组从同一内层起点出发，各三个种子、50 步，平均终点约为 0.780 与 0.782，当前结果尚不能决定新改进者是否更有效。研究产物变好、研发行为迁移、后继改进效率，在这里成为了不同实验。 前两项收益已经有观察，第三项则指出下一轮该怎样证明。
5.3 学习研发
10 月的 LM2LM107 将研发提案能力作为训练目标。真实模型训练能够提供奖励，每个提案都执行却很昂贵。它用研究世界模型预测实验增益，减少奖励收集成本，再周期性真实执行当前策略看好的提案。
图 5.6：LM2LM 训练提案者，用真实执行结果校准冻结研究世界模型的上下文。
这里的世界模型是冻结 LLM，真实实验记录作为上下文；被训练的是提案模型。新策略改变了提案分布，旧记录可能不再覆盖它偏好的方法，强化学习又容易追逐被高估的提案。作者因此把当前策略高预测提案的真实结果补入记录，直接校准最可能误导学习的位置。
参数学习、记录更新和真实执行，以不同节奏共同维持反馈。 在八个自回归／扩散模型研发环境的真实执行比较和未见家族测试中，论文展示了提案学习与校准的收益；相对获 300 条真实实验记录的上下文学习对照，报告的数据生成成本降低 33%。提案者训练与其他调用，仍要计入完整成本。
更远的迁移还会改变约束。Automated Weak-to-Strong Researcher 的研究博客108 记录了测试床上找到强方案、迁到生产训练后最好变化仍处于噪声范围的情况。测试床让探索更快，生产条件则重新决定哪些机制有效。
较早的 6 月诊断提出了一个互补问题。论文《Repeated post-training is not Self-improving: Diagnosing Scientific Amnesia in Continual DPO Pipelines》109 将它称为 scientific amnesia：模型 checkpoint 继续继承，研究过程却重复坏策略、重新寻找已知设置，旧方法迁移继续减弱。
其单种子、五类提案者的三步真实模型链中，四类候选的峰值表现下降，保守规则反而改善；后续异构链和小规模多种子试验给出不同排序。这个诊断没有选出万能记忆机制，强调的是模型行为保持与训练方法积累，需要分别测量。
6---10 月间，研究政策、研究代理实现和提案模型陆续获得了不同的学习入口。它们共同把"产生进步的过程"变成对象，也带出更细的问题：什么证据能说明系统不仅做得更好，而且真的更会学习、组织和制造后续改进？
6. 能力验收
这些问题在改进尝试展开时同步进入实验。前面已经看到教师与求解者、任务代理与元代理的分工；10 月的一组交叉对照，继续将经验、组织、联合更新和后继收益拆开。变化不再只由一个总分代表。
6.1 能力分离
10 月的 MetaExp110 将前面的消费者问题做成了独立训练与评测目标。它通过 Shared-Tool、Shared-Workflow 等任务家族，训练获取、更新与使用经验：不同任务共享工具或潜在工作流规律，具体请求与数据却变化，上一题的答案不能直接照搬。
图 6.1：MetaExp 训练经验学习能力，部署后从空技能库在新任务中积累。
训练结束后，模型参数固定，在新分布从空技能库启动，适应任务与固定目标分开。在电子表格环境里，MetaExp 的零经验表现为 65.0%，低于底座的 68.9%；积累 40 个适应任务后达到 73.5%，底座在相同经验协议下为 66.7%。
初始解题能力和经验学习收益，出现了不同排序。 模型可以不占冷启动优势，却更会从经历中提炼、使用知识。其他领域的变化不一样，部分金融子域出现退化，这也让适用条件成为经验消费者评价的一部分。
同月的 MASS111 则回到组织能力。一个共享模型提出、执行、评价工作流，经结构约束搜索后，保留编排者与子代理轨迹做 SFT；新模型再参与下一轮组织、执行与评价。
图 6.2：MASS 将组织优化后的编排与执行轨迹转成后继模型的监督。
作者将新模型生成的工作流交给旧模型执行，仍优于旧模型生成的工作流。这个对照帮助分开任务执行能力与组织优化能力：新模型不仅可能自己做得更好，也可能制造出更有用的执行结构。
两轮后，四个研究基准每输出 token 得分约为底座的 1.2---1.6 倍，两个代码基准却回落。每输出 token 的效率、训练与总调用成本、不同任务的保持，属于不同观察量。组织经验应保留怎样分派信息，也应保留什么时候不适合采用这类分工。
6.2 联合收益
5---7 月的研究已经将模型和框架相接，10 月的 Self-HPO112 又明确了下一轮依赖：当前策略不仅执行代码任务，也作为自己的 harness 提案者。
- **H-step：**冻结当前策略，让它分析失败、提出并评测框架候选。
- **P-step：**冻结选中框架，通过强化学习更新策略；新策略与未解决难例进入下一轮 H-step。
图 6.3：Self-HPO 让当前策略提出框架修改，再用新框架训练下一策略。
两轮 H/P 后，三个代码基准解决率均值从 57.8% 提高到 64.8%。SWE-bench Verified 的交叉实验更能解释互补性：初始组合 61.0%，新框架配旧策略 64.5%，新策略配旧框架 64.4%，两端更新为 69.5%。联合增益超过两项单独增益之和，旧稳定任务也出现回落。
这里的强证据是把组件拆开再组合。框架改善数据产生条件，策略学会利用这些条件，又成为之后的提案者。Terminal-RSI113 通过经过验证的轨迹／runbook 自重写与策略精炼，提供另一种执行与训练接续方式。
联合变化也可以发生在预测和行动之间。RSI-Anything114 用世界模型预测候选后果，选择有限的真实试验；执行后保存预测---观测配对，按可靠性、数据和预算条件更新相关组件，再检查组合行为。
图 6.4：RSI-Anything 用预测选择试验，以观测校准更新组件及其组合。
其代码对照固定生成模型，每轮四个候选、至多三轮反馈，在 200 个 CodeContests 任务、三个种子上分开预测选择与预测器适应。隐藏测试成功率分别为 26.3%、29.2% 和 31.2%，在线测试约每题 3.7 次。
这组结果说明有限真实反馈可以被更有效地使用。新策略改变预测器面对的分布，新预测器改变被选择的行动；组件分别有效之后，组合仍需检查。协同由具体依赖和交叉结果证明，而非由更新了几个环来推定。
6.3 贡献与噪声
组件对照也让"涨分来自什么"变得更具体。7 月的论文《Rethinking the Evaluation of Harness Evolution for Agents》115 先配齐初始 harness、每任务 rollout 次数和反馈可见性，比较并行采样、顺序修订、跨任务 harness 更新与任务内 harness scaling。Terminal-Bench 2.1 上，共享 harness 演化没有稳定胜过简单的测试时发现，搜索与终测任务分离后，迁移优势也有限。
图 6.5：harness 评估需要分开独立尝试、轨迹修订、跨任务框架更新与任务内框架扩展。
同一研究在长程游戏里又发现任务特定演化的收益。它把比较问题从"新版本超过旧版本了吗"转为"同样反馈与可比预算，还有哪种更简单的办法"。编辑开销、搜索次数与运行成本仍要分别报告。
9 月的 RRSI116 在提案与选择两端约束搜索：限制一次打包的改动量，保留失败假说与探索历史，检查基准专用内容、噪声和成本，并移除长期无贡献机制。
图 6.6：RRSI 在提案与选择两端约束改动，关注迁移与成本。
候选仍可编辑全部 harness 组件，约束的是改变怎样被探索和留下。工作区实验中，初始版本在三个未见基准平均为 39.7，不加正则演化为 40.3，RRSI 为 43.6；不加正则的开发分反而更高。策略 token 约为初始 1.56M、不加正则 3.80M、RRSI 2.42M。
开发表现、迁移与成本给出了不同选择。某个候选对开发集更熟、消耗更多资源，可能仍不是更合适的后继。
10 月的 Harness-Delta Attribution（HDA）117 进一步匹配初始框架的推理计算，再中和新框架里能独立识别的基准捷径，观察剩余差距。
图 6.7：HDA 通过计算匹配与捷径中和，分开检验框架增益的来源。
25 组配置中，21 组有显著搜索集增益；作者在这 21 组里报告的平均归因份额约为过拟合 54%、测试时扩展 14%。中和能处理已识别的捷径，残余给出可泛化改善的上界，之后再由跨任务测试检查多少能保留。
还有一类偏差来自选择过程本身。The Winner's Curse118 研究反复在小集合上挑最高分候选：候选误差相关，最大估计偏乐观，被选中的版本又成为之后的起点，测量误差因此进入历史。
预注册提示改写对照中，16 个选择样本时，最终代理分数与外测准确率相差约 13---20 个点；256 个样本时约为 1---5 个点。所试接受门与先选后确认，也未稳定胜过整轮贪心。选择规则驱动整条改进链，它的效果需要在整轮过程里评价。
综述《From Harness Optimization to Recursive Self-Improvement》119 以可复用的具体修改为比较单位，关注它修复了什么瓶颈。局部改动解释机制，计算与捷径对照解释来源，后续使用解释迁移；三者接起来，才知道哪个状态值得继承。
图 6.8：五层递归范围描述改进权由谁掌握，最高层仍是尚无确定实证的开放目标。
从下往上读，五层图展开人工调整、辅助改进、固定改进器与递归复用的范围变化。实线安排同层工作，虚线衔接阅读层级；比较的是改进权的范围，而非性能分数。
6.4 采用与保持
5 月 Harness Benefit 指出的间隙，现在可以同 MetaExp 的消费者训练相互解释：产生更新、正确激活、遵循指导、获得收益，不能只靠检索日志或任务总分代表。
1 月的论文《Large Language Model Agents Are Not Always Faithful Self-Evolvers》120 通过清空、打乱和替换内容，检查决策是否真正依赖经验，发现部分压缩内容没有按预想方式进入行动。日志说明取出了什么，执行说明怎样使用，未见任务结果说明使用是否有效。
前文《Harness Updating Is Not Harness Benefit》的图示，将冻结执行者产生的经历交给改进者诊断，再修订记忆、工具、提示与技能。这说明更新怎样产生；采用是否有效，还要由消费者在执行中实际使用这些变化来检验。
图 6.9：冻结执行模型产生经历，改进者诊断后更新外围记忆、工具、提示与技能。
6 月的论文《Self-Improvement Can Self-Regress: The Rise-and-Collapse Failure Mode of LLM Self-Training》121 观察到同一训练 campaign 内的先升后跌，而不只跨任务遗忘。跨 campaign 的记忆门、campaign 内的 early stopping 与不同 RL 更新方式，在不同模型规模上给出不同效果；完整多能力控制器是设计分析，主实验实际部署的门只读 scalar end／peak 比例。
控制因此还需要选对时间尺度：等到一轮结束才更新策略，可能已经错过本轮回退的窗口。
5 月的 SciIntegrity-Bench122 把验收再推进到研究输出的诚实性。33 个构造陷阱、7 个模型的最小 ReAct 代理，共 231 次评测中，明确不端为 36 次；将没有不端但方法存在缺陷的 Flawed 也计入，整体问题率为 34.2%。这两个分类不同，试验也未覆盖所有复杂科研架构。它所要求的验收是：当输入不足以支持结论时，停止与说明缺口也应成为有效研究行为。
能力变化还要同保持一起观察。Your Agent May Misevolve123 沿模型、记忆、工具和工作流更新，研究正常优化怎样产生非预期偏离：记忆偏差、工具更新和跨域复用，可以改变后续行为边界。
图 6.10：Misevolve 展示记忆与工具更新、跨域复用中的持续行为偏移。
AgentPoison124 的受控红队实验说明外部记忆与知识库能够承载持久影响。10 月的 RSI Control125 在授权压力测试环境中检验后继模型的不合目标属性与监控局限。观察研发轨迹、检查最终产物和追踪后继状态，因而需要相互补充。
新任务收益和旧有约束，是并行的纵向观察量。 一次更新被保存以后，影响还可能继续传播到后代和新的消费者，修复也需要跟随这条路径。
6.5 泛化层级
这一分层继续进入新基准。Aspire126 只给模糊能力目标，隐藏最终测试，观察系统如何选数据、训练或框架修改；S³Gym127 将探索、自判断与之后学习分开，显示规则总结与原始历史适合不同任务。
HarnessDev128 分开创建和演化基础设施，检查隐藏任务与成本。RSI Arena129 用盲测人类偏好，将实用性、风格调整后的偏好、能力基准与安全变化分别观察：偏好评分可以提高，基准收益较小且关联不明确，部分安全表现下降。
2025 年 11 月的 Evo-Memory130 已将静态数据改成顺序任务流，让检索、综合与更新共同接受后续使用评价。同期 AutoEnv131 改变环境规则、可观测性与语义呈现，比较不同学习方法在跨环境条件下的效果；其 normalized reward 使用近似奖励上界，不能直接视为绝对准确率。
图 6.11：Evo-Memory 用顺序任务流评价检索、综合和更新，再由 ReMem 将记忆修订接入行动。
到 2026 年 6 月，Meta-Agent Challenge132 给元代理开发集与评估接口，分别限定研发阶段与最终执行阶段的 API、token 和时间预算，最后在隐藏任务上运行生成的代理制品。多数系统仍难追平人工设计基线；这个协议测的是代理开发能力，制造更好的后继改进者还需要进一步的嵌套比较。
这些协议把"积累了多少"转成"后续怎样使用、跨什么条件还能有效"，再将制造代理的能力独立出来。
到 11 月，SelfImprove-Bench133 把原条件改善、跨实例、跨难度／任务与更远迁移组织成不同泛化层级。
这些工作把问题从"系统跑了几轮"，推进到"后续哪种能力改变了，换多远的条件还能保留"。这一轮的最高分，需要转化为下一轮可解释、可比较的起点。
7. 演化底座
一路看下来，变化可以留在程序、经验、参数、组织和研究方法里；每个对象又有不同的消费者、反馈和更新时间。局部机制已经能学习，更长运行和跨系统使用则带来新的责任：一次发现离开原任务后，接收者怎样知道它有效的条件，又怎样继续修订？
7.1 经验资产
一条策略离开原轨迹，接收者可能不知道它为何产生。只保留结论会丢前置条件，只共享所有轨迹又带入大量无关细节。因此有几种应分别保留的东西：
- **原始经历：**发生过什么，运行在什么条件下。
- **行动策略：**怎样使用这次发现，哪些前提必须满足。
- **验证记录：**在哪些任务与比较条件下取得了收益。
- **采用反馈：**新的消费者怎样使用，获得或损失了什么。
Evolver 的工程实践在 2 月已经展开。3 月的《从 MetaClaw 到 Evolver：Agent 自演化不只是学会技能》134，将从成功 Capsule 蒸馏 Gene 扩展到从失败记忆生成防御 Gene，并用 SignalSnapshot→Hypothesis→Attempt→Outcome 记录诊断与尝试。
4 月的论文《From Procedural Skills to Strategy Genes: Towards Experience-Driven Test-Time Evolution》135，进一步研究 GEP 的策略基因表示。它比较文档型 Skill 与紧凑 Gene，并用匹配预算的 Skill fragments 检查表示结构的作用：增加文档可能降低总体效果，从失败历史浓缩出的 warnings 则比盲目附加历史更有用。
经验协议需要规定怎样使用发现，而不只是怎样保存内容。 紧凑策略、适用条件和验证关系，让经验能够成为测试时控制与后续修订的载体。论文的 4,590 次受控试验覆盖 45 个科学代码求解场景，支持该范围内的表示设计；经验网络的净收益还要由跨消费者使用检验。
11 月的 Evolver136 论文将已有工程路线整理为 Exploration-to-Evolution 框架：基础模型冻结，系统接入已有 harness，通过探索形成持久 Gene、Capsule、事件、来源与审阅记录，再经 hooks、MCP 或宿主集成影响执行，用新反馈维护资产。
图 7.1：Evolver 将探索、策略资产、经验条件化执行与反馈演化连接起来，并保留来源和操作边界。
在论文选定诊断集的 320 组成对执行中，成功率从 83.13% 提到 87.50%，记录的任务执行 token 降低 24.24%；在 265 组双成功对中，token 降低 17.57%。这些成本统计对应记录的任务执行阶段，探索、资产维护与跨消费者采用还要分别评价。
回看 4---6 月的技能研究，这些关系已经有了具体载体。FlowEvo137 将成功工作流编译为可调用技能，并跟踪下游效用、抑制负迁移；MUSE-Autoskill138 将创建、使用、记忆、管理和评价连成生命周期；机器人 ASPIRE139 用多模态执行反馈修复控制程序，再把有效修复加入技能库，硬件能力与环境条件也随技能一起影响复用。
CoEvoSkills140 进一步将技能看成多文件、相互依赖的执行包，并共同改善代理验证器。接口、依赖和反馈由此成为能力资产的一部分；修订可由验证器推动，独立测试再检查两端有没有形成共同盲点。
经验可以压缩，证据关系仍需要保留。 经验证的新使用可以扩展适用范围，负结果缩小范围或终止传播，修改与撤回才能找到具体对象。
5 月的 SkillOpt141 将一份 skill 文档作为冻结代理的外部政策，用受限 add／delete／replace 编辑、拒绝历史和慢更新保留连续性。训练轨迹产生修改，selection split 决定接受，test split 才用于终测；反思提案由此成为可拒绝的优化步骤，而非每次执行后直接扩写文档。
图 7.2：SkillOpt 用有界文本编辑、拒绝历史与独立 selection gate 修订可复用技能。
7.2 关系治理
9 月的 SE-GoS142 将技能索引作为学习对象。模型、技能内容与检索算法保持固定，系统依执行轨迹更新图关系、边权与检索侧描述，让缺失的功能依赖和使用关联进入之后检索。
图 7.3：SE-GoS 根据执行反馈更新技能间的关系、边权与检索描述。
第二轮平均奖励约为 59.8%，第三轮回落到 54.0%，边数却继续增长。这里的奖励是单元测试通过比例的平均。这组结果让关系扩张与使用贡献获得了不同观察位置。
Library Drift143 则通过消融诊断无界技能累积造成的召回退化与误注入，以贡献、路由参与、活跃库上限和退休机制管理技能；过早退休也会损害表现。
5 月底首发的 SkillSmith144 把有限上下文与有限演化试验作为两种预算。技能竞争 context，稳定逻辑可迁到工具代码，只在上下文暴露接口；随机 masking 与效果估计帮助发现互补或冲突，失败组合保存为带组件版本的 nogoods。
图 7.4：SkillSmith 分配有限上下文，移动技能与工具的边界，并保存版本化失败组合以减少重复试验。
8 月的 EvolveNet145 再把局部发现合入共享 harness：客户端从同一广播版本出发，按各自任务探索；服务端根据源码差异、修好与退化的任务证据，将机制归为全局、特定作用域或拒绝，再验证并广播下一版本。
图 7.5：EvolveNet 将客户端发现按作用域组合、验证和再分发，让不同任务的局部经验进入共享执行程序。
服务端需要保留机制的适用条件：通用修复进入共享版本，局部办法留在相应作用域，回退风险超出收益的修改被拒绝。互补经验由此可以组合进入后继。
管理的目标需要回到使用效果。新内容可能补能力，也可能干扰路由；新的连接可能补依赖，也可能增加无效召回。有效资产应有生成、验证、采用、修订和退役的完整路径。
7.3 受控激活
6 月的论文《Experience Graphs: The Data Foundation for Self-Improving Agents》146 提出 Trellis：把任务、session、尝试节点、制品、奖励、兄弟比较与谱系放进可查询的经验图。搜索前沿的选择成为查询，跨 session 复用是图检索，训练材料提取是受治理的视图，恢复旧状态是时间旅行。它提供的是数据底座设计与 KernelEvolve 工程案例，把经验关系本身从临时日志抬为共享状态。
在这个工程案例中，跨 session 记忆让早期目标更快达到，却也更早进入平台；无记忆对照继续探索，最终取得更高的单点。复用的加速、成本降低与最终搜索上界，是不同观察量。 数据底座保留路径与兄弟对照，才方便发现哪些经验在帮助、哪些经验正在锚定探索。
图 7.6：Trellis 将尝试、制品、奖励和谱系组织为受治理的经验图，使搜索、复用与训练共享状态。
记录这些路径，需要明确的状态接口。Exo147 保留受保护的最小机制层，负责历史记录和策略激活；其他执行策略以及进一步改进的策略可以变化。系统既能修改，也能知道哪个版本正在生效。
RSIGym148 将训练、推理、轨迹、评价和沙箱服务化，统一预算与权限；HarnessPro149 在性能---成本权衡下保留多种候选，让不同部署预算选择不同实现。
10 月的 HarnessMM150 将受控复用落实到执行决策图。离线 RSI 修订作者提示、上下文与 adapter rules；运行时的 Guarded Decision Reuse 和 Certified Callback Substitution 则依据公共 receipts、guards、依赖与固定的字面参数，复用已解决决策或替换冗余推理子图。
图 7.7：HarnessMM 依据执行证据与守卫条件，复用已解决决策，以凭证约束的原生动作省去冗余推理。
actor 权重固定。守卫满足后，动作仍通过原工具接口执行，凭证绑定前序完成、字面参数、工具结果与省去的 callback。运行时能否复用由已验证条件决定，离线改进负责修订这些条件和结构。保存一个决策，与在当前状态合法地重新执行它，是不同职责。
综述《Safety in Self-Evolving Agents》151 将风险单位扩展到状态转移与后代影响。权限、持久性或作用域改变后，原先合适的状态也可能不再合适；修复需要追踪哪些后继仍携带旧假设，恢复后再验证。
图 7.8：安全分析需要追踪可继承状态的改变、风险暴露与恢复责任。
综述《The Path to Recursive Self-Improving Agents》152 将模型、harness、数据、训练器和改进机制放进共同配置。统一接口便于说明谁产生数据、谁训练、谁提出修改，实际组织与消费者仍需按自己的职责定义。
图 7.9：模型、harness、数据、训练器与改进机制在共同配置中具有不同的更新与验收职责。
继承对象不只是一份版本文件，还包括它的使用条件、验证方式和恢复路径。 这些责任共同决定一次探索能否被下一位消费者可靠利用。
7.4 实践取舍
EvoMap 是我们将这一年的研究观察带回 Agent Infra 设计的一个落点。持续运行会不断产生经验，模型更新却需要组织训练、评测和发布。我们因此先把"经验影响下一次行动"与"稳定能力内化到模型"分开，再通过验证和版本继承接起来。
EvoMap 的 RSI 设计将写入面、提案政策、调度与独立验收分开。经验与数据、执行框架、组织策略、模型制品是不同写入面。它们可以共享一次运行产生的证据，消费者与更新节奏却不同；Meta 再根据任务、失败、成本和已验证收益选择下一步干预。
图 7.10：EvoMap 将经验、执行、组织、模型与元选择接成差速改进路径。
经验侧用 Capsule 保存条件、动作、结果与证据，Gene 提炼有适用范围的行动策略。这样，消费者可以快速使用策略，遇到不匹配或失败时，也能回到它怎样产生、在哪些条件下有效。Hub 因而不只发现资产，还要连接来源、比较、采用与撤回。
组织沿同样的逻辑进入学习。Self-Organize 根据任务特征安排成员、通信、预算与验证责任，Plan 展开依赖，Aggregate 将执行结果返回修复、重规划、重组织或停止。我们希望 Organization Gene 留下的是选择这种分工的条件，包括什么时候应该保持单体与串行上下文。
模型内化使用更慢的节奏。条件较强的局部策略先留在执行侧，来源允许训练、在多样任务中稳定有用的经验再组织为语料进入训练与评测。模型变化以后，旧策略的适用条件也要复核。
这项实践选择，是把一次发现的两次生效接起来：先改善行动，再有机会沉淀为长期能力。 独立写入面、可比验收与回退，让我们能定位收益来自哪里；跨消费者的净收益与更长时间的积累，继续由实际采用和后继任务检验。
8. 下一程
回看过去，程序和经验已经让学习有了多种持久载体；看清现在，改进方法、反馈、组织与研究行为开始拥有不同训练和测量入口；判断未来，则要看这些能力能否在下一轮、下一位消费者那里继续起作用。
8.1 改进训练
综述《The Last AI Built by Humans》153 将改进执行、策略、经验获取、环境适应和元改进的自主范围分开。实际比较里，系统自主改变哪一步、按什么信号学习，比一个笼统等级更有解释力。
图 8.1：不同自主范围由哪些职责进入改进闭环来区分。
2027 年，改进元技能有望成为更常见的训练目标与独立评测维度。 MetaEvolve 训练产生有效修改，Evo² 训练改进者，Meta² 学习干预知识，MetaExp 训练从经历中学习，LM2LM 训练研发提案；后续需要检验更远任务、不同基础模型、不同消费者与反馈条件。
会解题、会利用经验、会制造后继改进，可以相互增强，也应该保留不同测量位置。新的训练目标应由这些能力怎样参与后续学习决定。
8.2 系统净收益
我预计，下一阶段的比较会更关注单位预算下的系统净收益。 相同质量是否更省成本，相同预算是否更快找到有效版本，换一个消费者以后还剩多少收益，都会比单项最高分更有分量。
组件交叉说明互补，固定研发预算说明过程效率，计算与捷径中和说明收益来源。把这些尺度接起来，才能理解一个系统到底怎样改善了后续工作的条件。
8.3 持续积累
更长运行会暴露短实验不易看到的东西：经验老化、关系膨胀、消费者变化、评价器共同偏差，以及错误状态继续影响后代。已有研究提供了部分入口，真正持续的净收益仍需要更长过程与更远使用条件。
状态管理有望从 Agent 的附属模块，成为独立的演化基础设施。 我更期待看到的进展，是一次有效探索能够离开原任务，带着条件和证据进入另一个系统；新消费者再用结果修正、扩展或终止它的价值。经验积累才有机会减少整个网络的重复探索。
9. 结语
这一年，"会改进"逐渐有了更独立的对象与计量。经验怎样组织，搜索怎样随进展变化，反馈怎样跟上失败，模型与框架怎样互相创造学习条件，研发者怎样改善自身方法，都进入了具体实验。
几条并行路线也让认识变得更细：教师未必自己会解难题，初始任务更强未必更会利用经验，执行能力与组织质量可以分开，研究产物更好也不能代替后继改进效率的直接测量。
回到开头，一次任务结束后，系统究竟留下了什么？答案完成当前工作，经验与方法改变之后工作的条件；采用、迁移、成本和保持，再决定哪些变化值得继续继承。
RSI 的 2026，正从完成任务的能力，走向能够积累和检验的改进能力。下一程，是让这些能力可靠相接，让每一轮都能说明自己为什么更有效。
参考资料
-
The Lore：https://docs.openclaw.ai/start/lore
-
Introducing OpenClaw：https://openclaw.ai/blog/introducing-openclaw
-
OpenClaw --- Open-Source AI Assistant：https://openclaw.ai/
-
A Survey of Self-Evolving Agents: What, When, How, and Where to Evolve on the Path to Artificial Super Intelligence：https://arxiv.org/abs/2507.21046
-
Recursive Self-Improvement in AI: A Survey：https://www.preprints.org/manuscript/202609.2680
-
A Self-Improving Coding Agent：https://arxiv.org/abs/2504.15228
-
Darwin Gödel Machine: Open-Ended Evolution of Self-Improving Agents：https://arxiv.org/abs/2505.22954
-
Live-SWE-agent: Can Software Engineering Agents Self-Evolve on the Fly?：https://arxiv.org/abs/2511.13646
-
ReasoningBank: Scaling Agent Self-Evolving with Reasoning Memory：https://arxiv.org/abs/2509.25140
-
Reflexion: Language Agents with Verbal Reinforcement Learning：https://arxiv.org/abs/2303.11366
-
ExpeL: LLM Agents Are Experiential Learners：https://arxiv.org/abs/2308.10144
-
Voyager: An Open-Ended Embodied Agent with Large Language Models：https://arxiv.org/abs/2305.16291
-
SkillWeaver: Web Agents can Self-Improve by Discovering and Honing Skills：https://arxiv.org/abs/2504.07079
-
A Survey on the Memory Mechanism of Large Language Model based Agents：https://arxiv.org/abs/2404.13501
-
MemRL: Self-Evolving Agents via Runtime Reinforcement Learning on Episodic Memory：https://arxiv.org/abs/2601.03192
-
Group-Evolving Agents: Open-Ended Self-Improvement via Experience Sharing：https://arxiv.org/abs/2602.04837
-
Self-Improvements in Modern Agentic Systems: A Survey：https://arxiv.org/abs/2607.13104
-
Promptbreeder: Self-Referential Self-Improvement Via Prompt Evolution：https://arxiv.org/abs/2309.16797
-
MemEvolve: Meta-Evolution of Agent Memory Systems：https://arxiv.org/abs/2512.18746
-
Memory-R1: Enhancing Large Language Model Agents to Manage and Utilize Memories via Reinforcement Learning：https://arxiv.org/abs/2508.19828
-
Agentic Memory: Learning Unified Long-Term and Short-Term Memory Management for Large Language Model Agents：https://arxiv.org/abs/2601.01885
-
MemSkill: Learning and Evolving Memory Skills for Self-Evolving Agents：https://arxiv.org/abs/2602.02474
-
ExpHarness: Model-Agnostic Experience Learning through a Trainable Harness：https://arxiv.org/abs/2605.30712
-
Agentic Context Engineering: Evolving Contexts for Self-Improving Language Models：https://arxiv.org/abs/2510.04618
-
Meta Context Engineering via Agentic Skill Evolution：https://arxiv.org/abs/2601.21557
-
Learning to Continually Learn via Meta-learning Agentic Memory Designs：https://arxiv.org/abs/2602.07755
-
EnvOpt: Automated Optimization for Agent Environments：https://arxiv.org/abs/2611.07372
-
Automated Design of Agentic Systems：https://arxiv.org/abs/2408.08435
-
GEPA: Reflective Prompt Evolution Can Outperform Reinforcement Learning：https://arxiv.org/abs/2507.19457
-
AlphaEvolve: A coding agent for scientific and algorithmic discovery：https://arxiv.org/abs/2506.13131
-
EvoX: Meta-Evolution for Automated Discovery：https://arxiv.org/abs/2602.23413
-
Bilevel Autoresearch: Meta-Autoresearching Itself：https://arxiv.org/abs/2603.23420
-
Dream-RSI: Recursive Self-Improvement through Evolving Worlds：https://arxiv.org/abs/2609.14858
-
ExpEvolve: Structuring and Reusing Experience for Open-Ended Discovery：https://arxiv.org/abs/2610.29303
-
Self-Taught Optimizer (STOP): Recursively Self-Improving Code Generation：https://arxiv.org/abs/2310.02304
-
Gödel Agent: A Self-Referential Agent Framework for Recursive Self-Improvement：https://arxiv.org/abs/2410.04444
-
Hyperagents：https://arxiv.org/abs/2603.19461
-
Escher-Loop: Mutual Evolution by Closed-Loop Self-Referential Optimization：https://arxiv.org/abs/2604.23472
-
AutoHarness: improving LLM agents by automatically synthesizing a code harness：https://arxiv.org/abs/2603.03329
-
Meta-Harness: End-to-End Optimization of Model Harnesses：https://arxiv.org/abs/2603.28052
-
Optimizing generative AI by backpropagating language model feedback：https://arxiv.org/abs/2406.07496
-
Agentic Harness Engineering: Observability-Driven Automatic Evolution of Coding-Agent Harnesses：https://arxiv.org/abs/2604.25850
-
Self-Harness: Harnesses That Improve Themselves：https://arxiv.org/abs/2606.09498
-
Self-Evolving Coding Agents：https://arxiv.org/abs/2608.03392
-
Harness²: Recursive Agent Harnessing for an Open World：https://arxiv.org/abs/2610.14224
-
Meta²: Precomputing Reusable Knowledge for Online Harness Evolution in Long-Horizon Agents：https://arxiv.org/abs/2611.05139
-
AgentEvolver: Towards Efficient Self-Evolving Agent System：https://arxiv.org/abs/2511.10395
-
Agent0: Unleashing Self-Evolving Agents from Zero Data via Tool-Integrated Reasoning：https://arxiv.org/abs/2511.16043
-
R-Zero: Self-Evolving Reasoning LLM from Zero Data：https://arxiv.org/abs/2508.05004
-
Can Recommender Systems Teach Themselves? A Recursive Self-Improving Framework with Fidelity Control：https://arxiv.org/abs/2602.15659
-
Teaching Models to Teach Themselves: Reasoning at the Edge of Learnability：https://arxiv.org/abs/2601.18778
-
Socratic-SWE: Self-Evolving Coding Agents via Trace-Derived Agent Skills：https://arxiv.org/abs/2606.07412
-
RSIAgent: Autonomous Exploration for Recursive Self-improvement in New Environments：https://arxiv.org/abs/2609.15364
-
Self-Rewarding Language Models：https://arxiv.org/abs/2401.10020
-
Meta-Rewarding Language Models: Self-Improving Alignment with LLM-as-a-Meta-Judge：https://arxiv.org/abs/2407.19594
-
Self-Taught Evaluators：https://arxiv.org/abs/2408.02666
-
DR Tulu: Reinforcement Learning with Evolving Rubrics for Deep Research：https://arxiv.org/abs/2511.19399
-
SWE-RM: Execution-free Feedback For Software Engineering Agents：https://arxiv.org/abs/2512.21919
-
No More Stale Feedback: Co-Evolving Critics for Open-World Agent Learning：https://arxiv.org/abs/2601.06794
-
Conversation for Non-verifiable Learning: Self-Evolving LLMs through Meta-Evaluation：https://arxiv.org/abs/2601.21464
-
EvoLM: Self-Evolving Language Models through Co-Evolved Discriminative Rubrics：https://arxiv.org/abs/2605.03871
-
Self-Trained Verification for Training- and Test-Time Self-Improvement：https://arxiv.org/abs/2605.30290
-
Self-evolving LLM agents with in-distribution Optimization：https://arxiv.org/abs/2606.07367
-
Self-Evolving Deep Research via Joint Generation and Evaluation：https://arxiv.org/abs/2606.04507
-
DeepSeek-V4: Towards Highly Efficient Million-Token Context Intelligence：https://arxiv.org/abs/2606.19348
-
GenEnv: Difficulty-Aligned Co-Evolution Between LLM Agents and Environment Simulators：https://arxiv.org/abs/2512.19682
-
VLAW: Iterative Co-Improvement of Vision-Language-Action Policy and World Model：https://arxiv.org/abs/2602.12063
-
Towards Execution-Grounded Automated AI Research：https://arxiv.org/abs/2601.14525
-
PostTrainBench: Can LLM Agents Automate LLM Post-Training?：https://arxiv.org/abs/2603.08640
-
Towards end-to-end automation of AI research：https://www.nature.com/articles/s41586-026-10265-5
-
RLAnything: Forge Environment, Policy, and Reward Model in Completely Dynamic RL System：https://arxiv.org/abs/2602.02488
-
The Red Queen Gödel Machine: Co-Evolving Agents and Their Evaluators：https://arxiv.org/abs/2606.26294
-
Recursive Self-Improvement in AI: From Bounded Self-Refinement to Autonomous Research Loops：https://arxiv.org/abs/2607.07663
-
Who Grades the Grader? Co-Evolving Evaluation Metrics and Skills for Self-Improving LLM Agents：https://arxiv.org/abs/2607.12790
-
Co-Evolution in Agentic Systems: Toward Self-Directed Evolution Beyond Human Design：https://arxiv.org/abs/2608.10299
-
Self-Adapting Language Models：https://arxiv.org/abs/2506.10943
-
Reinforcement Learning for Self-Improving Agent with Skill Library：https://arxiv.org/abs/2512.17102
-
SkillRL: Evolving Agents via Recursive Skill-Augmented Reinforcement Learning：https://arxiv.org/abs/2602.08234
-
Evolving-RL: End-to-End Optimization of Experience-Driven Self-Evolving Capability within Agents：https://arxiv.org/abs/2605.10663
-
CODESKILL: Learning Self-Evolving Skills for Coding Agents：https://arxiv.org/abs/2605.25430
-
Harness Updating Is Not Harness Benefit: Disentangling Evolution Capabilities in Self-Evolving LLM Agents：https://arxiv.org/abs/2605.30621
-
Teaching LLMs to Self-Evolve: Cultivating Core Meta-Skills with Reinforcement Learning：https://arxiv.org/abs/2607.21971
-
Harness-R1: Learning to Edit Executable Runtime Harnesses from Agent Failure Trajectories：https://arxiv.org/abs/2608.02276
-
Evo²: Evolving the Evolver through Weight-Harness Co-Evolution：https://arxiv.org/abs/2610.13025
-
SIA: Self Improving AI with Harness & Weight Updates：https://arxiv.org/abs/2605.27276
-
Co-Harness: Co-Evolving Harnesses and Model Weights for LLM Agents：https://arxiv.org/abs/2607.22688
-
Continual Harness: Online Adaptation for Self-Improving Foundation Agents：https://arxiv.org/abs/2605.09998
-
Harness-Zero: Harness Distillation via Agent-as-Harness：https://arxiv.org/abs/2609.24974
-
GPTSwarm: Language Agents as Optimizable Graphs：https://arxiv.org/abs/2402.16823
-
AFlow: Automating Agentic Workflow Generation：https://arxiv.org/abs/2410.10762
-
Kimi K2.5: Visual Agentic Intelligence：https://arxiv.org/abs/2602.02276
-
Why Do Multi-Agent LLM Systems Fail?：https://arxiv.org/abs/2503.13657
-
Towards a Science of Scaling Agent Systems：https://arxiv.org/abs/2512.08296
-
Mendel Gödel Machine: Recursive Self-Improving Coding Agents via Comparative Evolution：https://arxiv.org/abs/2608.07645
-
Metaⁿ: Recursive Self-Improvement through Emergent Depth：https://arxiv.org/abs/2608.24735
-
R² Flow: Recursive Self-Improvement via Recursive Skill Evolution：https://arxiv.org/abs/2609.33867
-
EvoTeam: Multi-Agent Collaboration via Evolving Teams：https://arxiv.org/abs/2610.39813
-
MetaRSI / RSI2: A Meta-Recursive Self-Improving System for Recursive Self-Improving Systems Themselves：https://arxiv.org/abs/2609.06396
-
RSIFlow: Adaptive Self-Improvement Workflows with an Evolving Meta-Agent：https://arxiv.org/abs/2610.21791
-
EvoScientist: Towards Multi-Agent Evolving AI Scientists for End-to-End Scientific Discovery：https://arxiv.org/abs/2603.08127
-
A-Evolve-Training: Autonomous Post-Training of a 30B Model：https://arxiv.org/abs/2606.20657
-
RSI-Opt: Recursive Self-Improvement Optimizer Agents For Model Training：https://arxiv.org/abs/2610.32026
-
Athanor: An Agent-Native System for Autonomous Post-Training Research：https://arxiv.org/abs/2610.21055
-
Heuresis: Search Strategies for Autonomous AI Research Agents Across Quality, Diversity and Novelty：https://arxiv.org/abs/2606.25198
-
Recursive self-improvement of AI research agents：https://arxiv.org/abs/2609.26457
-
Huxley-Gödel Machine: Human-Level Coding Agent Development by an Approximation of the Optimal Self-Improving Machine：https://arxiv.org/abs/2510.21614
-
Language Models Learn to Improve Language Models：https://arxiv.org/abs/2610.23344
-
Automated Weak-to-Strong Researcher：https://alignment.anthropic.com/2026/automated-w2s-researcher/
-
Repeated post-training is not Self-improving: Diagnosing Scientific Amnesia in Continual DPO Pipelines：https://arxiv.org/abs/2606.21089
-
MetaExp: Learning to Self-Improve through Experience via Verifiable Cross-Task Environment Scaling：https://arxiv.org/abs/2610.21492
-
Recursive Self-Improvement through Multi-Agent Self-Supervision：https://arxiv.org/abs/2610.12176
-
Self-Evolving Coding Agents via Harness-Policy Optimization：https://arxiv.org/abs/2610.22791
-
Terminal-RSI: Recursive Self-Improving Terminal Agents via Recursive Self-Rewrite and Policy-Refine：https://arxiv.org/abs/2610.22192
-
RSI-Anything: Unlocking Recursive Self-Improvement with World Models：https://arxiv.org/abs/2610.13912
-
Rethinking the Evaluation of Harness Evolution for Agents：https://arxiv.org/abs/2607.12227
-
RRSI: Regularized Recursive Self-Improvement of Agent Harnesses：https://arxiv.org/abs/2609.24972
-
Harness-Delta Attribution: Dissecting Gains From Harness Evolution：https://arxiv.org/abs/2610.22466
-
The Winner's Curse in LLM Self-Improvement Loops: Selection Noise, Lock-in, and Acceptance Rules：https://arxiv.org/abs/2610.09239
-
From Harness Optimization to Recursive Self-Improvement: A Survey of Language Model Agents：https://www.preprints.org/manuscript/202610.2293
-
Large Language Model Agents Are Not Always Faithful Self-Evolvers：https://arxiv.org/abs/2601.22436
-
Self-Improvement Can Self-Regress: The Rise-and-Collapse Failure Mode of LLM Self-Training：https://arxiv.org/abs/2606.21090
-
SciIntegrity-Bench: A Benchmark for Evaluating Academic Integrity in AI Scientist Systems：https://arxiv.org/abs/2605.10246
-
Your Agent May Misevolve: Emergent Risks in Self-evolving LLM Agents：https://arxiv.org/abs/2509.26354
-
AgentPoison: Red-teaming LLM Agents via Poisoning Memory or Knowledge Bases：https://arxiv.org/abs/2407.12784
-
RSI Control: Can AI Models Perform Covert Sabotage in the Self-Improvement Process?：https://arxiv.org/abs/2610.27735
-
Aspire: Can Models Self-Evolve from Vague Goals?：https://arxiv.org/abs/2608.31111
-
S3Gym: Can LLMs Turn Self-Testing and Self-Judging into Self-Improvement?：https://arxiv.org/abs/2608.31100
-
HarnessDev: Can LLMs Create and Evolve Their Own Agent Harness?：https://arxiv.org/abs/2609.01437
-
RSI Arena: Towards Recursive Self-Improvement with Human Feedback：https://arxiv.org/abs/2610.33624
-
Evo-Memory: Benchmarking LLM Agent Test-time Learning with Self-Evolving Memory：https://arxiv.org/abs/2511.20857
-
AutoEnv: Automated Environments for Measuring Cross-Environment Agent Learning：https://arxiv.org/abs/2511.19304
-
The Meta-Agent Challenge: Are Current Agents Capable of Autonomous Agent Development?：https://arxiv.org/abs/2606.04455
-
SelfImprove-Bench: Evaluating Generalization in Self-Improving Agents：https://arxiv.org/abs/2611.02797
-
从 MetaClaw 到 Evolver：Agent 自演化不只是学会技能：https://evomap.ai/zh/blog/evolver-v137-metaclaw-convergence
-
From Procedural Skills to Strategy Genes: Towards Experience-Driven Test-Time Evolution：https://arxiv.org/abs/2604.15097
-
Evolver: Turning Agent Exploration into Evolving Capabilities：https://arxiv.org/abs/2611.07595
-
FlowEvo: Self-Evolving Agents through the Co-Evolution of Workflows and Executable Skills：https://arxiv.org/abs/2607.21596
-
MUSE-Autoskill: Self-Evolving Agents via Skill Creation, Memory, Management, and Evaluation：https://arxiv.org/abs/2605.27366
-
ASPIRE: Agentic /Skills Discovery for Robotics：https://arxiv.org/abs/2607.00272
-
CoEvoSkills: Self-Evolving Agent Skills via Co-Evolutionary Verification：https://arxiv.org/abs/2604.01687
-
SkillOpt: Executive Strategy for Self-Evolving Agent Skills：https://arxiv.org/abs/2605.23904
-
SE-GoS: Self-Evolving Graph-of-Skills for Skill Library at Scale：https://arxiv.org/abs/2609.08228
-
Library Drift: Diagnosing and Fixing a Silent Failure Mode in Self-Evolving LLM Skill Libraries：https://arxiv.org/abs/2605.19576
-
SkillSmith: Co-Evolving Skills and Tools for Self-Improving Agent Systems：https://arxiv.org/abs/2606.01314
-
EvolveNet: Collaborative Harness Evolution for Agent Self-Improvement：https://arxiv.org/abs/2608.04968
-
Experience Graphs: The Data Foundation for Self-Improving Agents：https://arxiv.org/abs/2606.29823
-
Exo: An Architecture for Self-Improving Systems at Runtime：https://arxiv.org/abs/2611.00463
-
RSIGym: A Flexible Environment for Recursive Self-Improvement：https://arxiv.org/abs/2610.10310
-
HarnessPro: Recursive Harness Self-Improvement with Pareto Optimization for Performance-Cost Trade-offs：https://arxiv.org/abs/2610.26770
-
HarnessMM: Recursive Self-Improvement for Harness Token Efficiency：https://arxiv.org/abs/2610.32813
-
Safety in Self-Evolving Agents: A Survey：https://arxiv.org/abs/2610.00093
-
The Path to Recursive Self-Improving Agents: Foundation, Framework, and Future Directions：https://www.preprints.org/manuscript/202608.0051
-
The Last AI Built by Humans: Toward Genuine Recursive Self-Improvement：https://arxiv.org/abs/2609.11873