RSI:进化不只发生在模型

AI 已经进入代码编写、算法优化和模型研发流程。但一次任务完成之后,系统留下的可能是可复用能力,也可能只是一份答案和散落的日志。两者的差别,要到下一次面对相似问题时才会显现:它能利用上次的发现,还是又要支付一遍探索成本?

递归自我改进(Recursive Self-Improvement,RSI)关心的,是改进怎样被保存、验证和继承。EvoMap 将经验、执行机制与组织策略连接起来:新经验先进入下一次行动,再有机会沉淀为模型的长期能力;协作产生的组织经验,也进入下一次分工。这种持续学习不要求所有循环以同一种速度运转,而是在差速中让经验与能力相互推动。

1. 改进对象

1.1 执行回路

先从一个最小的 Agent(智能体)回路看起。系统接收任务,读取上下文,决定动作,调用工具,再把环境反馈带回下一步决策。Model 提供理解与生成能力,Harness 则组织提示词、记忆、工具和运行规则,使模型的判断能够进入真实执行。

这个回路可以根据反馈修正动作。代码运行报错,Agent 再修改;检索证据不足,它换一个查询。这些调整很有价值,但主要服务于当前任务。执行不断继续,不等于任务结束后留下了可继承的变化。一个系统可以很会重试,却仍在每次会话里重新发现同一个问题。

要让下一次获益,就需要增加另一条路径:从结果与轨迹中提出候选更新,经过检验,再让后续任务使用更新后的状态。这里多出的不是一个名为"反思"的步骤,而是候选、验收与继承的职责。反思给出解释,验收确认解释在什么范围内有用,继承则让它进入之后的行为。

再往前一步,如果更新后的改进机制参与产生后继更新,就开始触及受约束递归。但能够再次修改自己,仍不等于更容易产生有效改进。它可能只是重复相同搜索,或者用更多预算得到更多候选。完全自主开发下一代前沿基础模型,又是比这条受约束链路更强的命题。

因此,执行能力、持久改进和后继改进效率应分别观察。架构上的回流说明系统允许哪些变化发生,真实收益则要看变化进入哪里、被谁使用,以及是否改善之后的任务。这也解释了为什么不同公司都在谈自改进,公开结果却不能直接放进同一张能力排行榜。

1.2 局部收益

截至 2026 年 10 月的公开材料,已经显示研发分工发生了变化。Anthropic 报告,截至 2026 年 5 月,合并到生产的代码行中,超过 80% 可以归属到 Claude;这不覆盖所有临时脚本和实验代码。其文章正文另称,2026 年第二季度典型工程师每日合并代码量约为 2024 年的八倍。1

模型从建议代码进入了修改、执行和测试代码的过程,但八倍不能直接换算成研发效率八倍。代码行数衡量数量而非质量,Anthropic 自己也提醒它可能高估真实生产率增益。代码产出增加之后,目标选择、实验解释、生产迁移和资源配置仍可能限制研发进度。

Anthropic 随后用任务自动化指数观察另一层变化:截至 2026 年 8 月,在固定任务篮子按人员投入代理权重聚合的研发工作份额中,约 26% 达到"AI 主导、由人监督",超过 90% 达到"AI 协作"及以上,没有被测任务类别达到完全自主。2 这些不是任务条数占比或实测无人研发工时。权重来自人员每周工作,并在其任务间近似均分,而不是逐项计时。

数量、分工与整体进度因此是不同度量。9 月的 Claude Opus 5.5 系统卡表示,内部指标没有显示持续的、可归因于 AI 的整体研发进度两倍加速,模型也不能完全替代研究科学家与研究工程师。3 OpenAI 的 10 月 GPT-6 Sol / Luna 系统卡也表示,两个版本未达到其 AI Self-Improvement 的 High 阈值。4 两家框架不同,不能合成统一 RSI 分数,也不能据此否认所有局部自改进。

Google 的 AlphaEvolve 把局部与整体的区别落在生产系统中。它用 Gemini 生成和改写算法,经自动执行、评分与进化搜索选择候选。官方报告称,某个 Gemini 关键矩阵运算内核加速 23%,对应整体训练时间却只减少约 1%;改进后的 Borg 调度平均持续回收约 0.7% 的全球计算资源。5

这不是优化无效,而是收益分母不同。局部运算更快,整体收益还要按其占比折算;资源调度更高效,也不说明模型更会选择研究问题。内核、执行工具、模型能力与研究过程之间,需要有归因关系,不能把最好局部倍数相乘成递归加速倍率。

智谱的 Infra Agent 案例进一步说明,反馈怎样帮助改进。GLM-5.3 参与 GLM-5.3-Flash 推理系统建设,团队报告从初始适配到生产就绪不到两周,端到端吞吐约为初始基线的三倍。6 这是工程师、Agent 与实验环境的联合结果,基线不是业界最优实现,不能全部归因于纯 Agent。

其方法上的重点是"密集反馈":数值正确性测试检查有没有算错,运行轨迹(trace)和并发事件帮助定位等待,微基准检验局部修改,端到端测试再判断收益能否进入生产。不同层的假设有不同检验入口,不是让模型盯着一个吞吐数字猜原因。原本依赖工程师串联的诊断过程,因而更适合被组织成 Agent 可以连续执行的实验过程。

这些案例说明,可靠执行与局部优化已经有实质进展。接下来的设计问题是:发现能否留下来,以及下一次调用什么状态,才能减少重复探索。

1.3 五类状态

最直接的学习载体是模型权重,但执行表现并不只由权重决定。相同模型换一套上下文、工具组织与重试规则,可能表现不同;相同工具交给不同成员、通信和聚合方式,也未必产生相同结果。要解释谁在学习,就需要把可变状态分开。

Microsoft Research 等合作者的 Self-HPO 组件重组实验中,改进后的 Harness 与原策略搭配、改进后的策略与原 Harness 搭配,都保留了收益,联合收益又超过单独收益之和。7 它支持该实验范围内执行机制与参数策略的相互作用,而不是将所有变化归给一个模型分数。

EvoMap 将这些状态划为五类职责:

• Data,D:经验、数据与可复用资产,决定系统能继承什么。

• Harness,H:提示词、记忆、技能、工具和运行编排,决定能力怎样进入执行。

• Model,θ:参数、架构与后继制品,承担能力内化。

• Swarm,S:成员、角色、通信、分解、聚合与终止策略,决定能力怎样被组织。

• Meta,Π:跨循环的选择、顺序、预算和停止政策,决定下一步改哪里。

这首先是责任边界,不是成熟度清单,也不是五个互斥的物理目录。组织知识可以保存为外显的 Organization Gene,也可以经过受控 Model 训练内化到 θ。后一动作实际写入参数,再验收它是否改善组织决策;不能因为目标涉及组织,就绕过模型准入。

同样,一份轨迹可以影响多个状态,但同一项总体收益不能重复记为多个循环的独立增益。候选需要说明实际写入了什么,效果则通过对照另行归因。只有把对象与职责分清,才有条件讨论它们怎样联动。

图 1:EvoMap 架构以五类 RSI 回路连接执行、经验、组织与模型。

回看图中的路径,执行轨迹经 Evolver、Hub 回到 EvoX,描述经验如何影响运行;Swarm、Self-Organize 与 PEA 描述组织如何参与执行;Synthesis、训练、评估(Eval)与环境,则连接模型生产和反馈。它们共享经验,却不必使用同一种更新节奏。

图中 Swarm 到 Hub 的回流标作 Meta RSI。Hub 承担经验交换与证据追踪,Meta 根据这些反馈选择跨循环的策略、顺序与预算,两者通过清楚的职责相接。先沿经验这条路径展开,就能看见一次发现如何成为其他 Agent 可以使用的能力。

2. 经验资产

2.1 条件策略

给执行回路增加记忆,是一个自然的最小方案:保存问题、动作与结果,下次检索。但日志同时包含因果线索、偶然条件、无效尝试与错误归因。找到一条相似记录,只说明它可能相关,不说明其中的动作适用于当前环境。

人类团队也有这层距离。一个人修好了问题,群聊留下全过程,另一组成员却未必能够复现。这个类比解释的是职责差别:记录证明发生过什么,操作知识帮助判断之后怎样做。它不是 AI 性能证明,却能说明为什么存储与形成能力之间还需要加工。

EvoMap 区分 Capsule 与 Gene,正是因为两类信息服务不同任务。Capsule 可以承载一次运行的条件、动作、结果与证据;Gene 提炼可复用策略,同时保留回头追查提炼是否正确的依据。提炼不是单纯压缩文本,而是把具体发现转换为带条件、可检验的行动假设。

智谱公开的 KV 缓存传输案例可以把这层加工说清楚。团队沿 trace 和 Python/C++ 调用边界发现,某些调用持有 Python 全局解释器锁(GIL),使同一进程中的传输线程无法及时推进。6 修复需要验证时间线与同条件性能,不是发现"传输慢"就套用一个普遍处方。

如果将其保存为经验,需要留下哪条路径持锁,哪种等待阻塞了另一个线程,怎样确认并发真实恢复,以及什么改动可能破坏线程安全。"释放 GIL"只是动作的一部分,适用条件、验证方法和失效处理才使它成为另一运行时可以检验的策略。缺了这些信息,传播越快,错误应用的范围也可能越大。

**Gene 更像行动假设,而不是压缩后的答案。**接收者读取它之后,仍要匹配模型、Harness、依赖版本和任务环境,再决定采用、修改、隔离或拒绝。一次成功不是永久授权;复用的收益来自减少重复探索,而不是取消目标环境的判断。

2.2 反馈学习

条件策略写清楚之后,还有一个上游问题:提炼所依据的反馈是否可信?代码单元测试可以提供较明确的信号,开放任务的质量、难度与奖励却未必如此。反馈有偏差,资产格式再规范,也可能只是将偏差保存得更完整。

同一段轨迹可以有不同去向。工具调用顺序与失败规避进入 Agent Gene;训练记录、负例与课程进入 Training Gene;成员选择、任务分解与聚合失败进入 Organization Gene。消费者不同,验证目标也不同,不能用一个总分同时宣布所有状态升级。

Data 路线因此不只是在积累样本。腾讯参与的 R-Zero 让 Challenger 与 Solver 共进化:前者提出接近解题者能力边界的任务,后者学习解决,形成自生成课程。8 学习对象包括"下一步练什么",但"zero data"不意味着基础模型没有预训练数据,也不意味着奖励规则、算法和验证由模型自主制定。

当任务需要评分准则(rubric)而不是直接验收,奖励提供者也可以学习。Kimi K2 的自评判让模型作为评价者(critic)提供反馈,再用按当前策略采样(on-policy)、具有可验证奖励的轨迹更新 critic,使其适应最新策略。9 DeepSeek-V4 则披露,生成策略模型(actor)本身承担生成式奖励模型职责,联合优化生成与评判能力。10

Meta 的 2024 年 Self-Taught Evaluators 用合成偏好与判断数据迭代训练评价器,报告 Llama3-70B-Instruct 的 RewardBench 分数从 75.4 提高到 88.3。11 这是该模型与基准下的结果,不是所有评价器的通用准确率。它支持评判能力可以改进,却不意味着自评天然可靠。

这些路线连接了任务生成、经验提炼、奖励判断与策略更新。生成者与裁判可能共同变强,也可能共享盲点。设计上可以允许反馈机制学习,同时保留它与真实任务、独立验收之间的联系。反馈应进入哪个状态,仍由相应的收益与边界决定,而不是因"自评有进步"就放行所有更新。

2.3 共享边界

本地策略可靠,仍不等于跨主体有效。模型、工具权限与任务分布改变,原来的适用条件也可能改变。因此,增加 Hub 不只是多一个存储地址,还意味着来源、版本、适用范围和撤回需要成为共享协议的一部分。

阿里参与的 MetaExp 进一步区分会解题与会学习经验。它通过 Shared-Tool、Shared-Workflow 任务家族训练模型获取、更新与复用经验;下游评估时权重冻结,技能库从空开始。作者报告了未见任务收益,也发现对照底座在某个相同进化协议中积累经验反而下降。12 同样形式的材料,并不保证不同模型同样会利用。

Hub 更适合承担发现、追踪、比较和撤回,而不是充当全局大脑。它提供候选资产、来源与历史验证,接收者在具体任务中决定使用,再把结果送回适用边界。登记、交换或共享信任分数,都不能替代目标环境的收益检验。

共享还可能形成自我强化:一条策略更容易被检索,所以被更多 Agent 使用;采用次数增加,又使它看起来更可靠。如果后续评价依赖同一条解释,重复使用就可能被误认成重复验证。一份日志转发多次,仍然只有一份原始证据;另一个模型赞同,也不等于在目标环境复现。

所以来源、复现与使用收益应分开记录。来源和格式核对后的资产,可以先作为隔离、低权限、可回退的试验假设,经过目标条件下的验证后再扩大范围。跨主体传播或进入训练,另有权限、来源和风险准入,不是一次成功后获得无限复用权。

图 2:经验提炼为 Gene,经目标环境验证后再复用。

资产循环的输出不只包括更多 Gene,也包括更窄的条件、被拒绝的假设与可撤回的策略。后续失败需要改变适用范围,而不是自动归因于接收者不够强。选择、隔离与遗忘是持续学习的一部分;当经验进一步影响分工和协作,组织规则本身也需要进入这个循环。

3. 组织学习

经验能够离开一次执行,成为另一 Agent 的行动依据,但可复用能力还不等于群体已经学会协作。三层循环图将执行、能力演化和群体继承放在不同层次:向外扩展的不是一个任务的重试次数,而是改进的保存方式与作用范围。

图 3:执行、能力演化与群体协作构成相互嵌套的三层循环。

小环 AgentLoop 让 Model 在 Harness 中完成感知、决策、执行与反馈;Ralph Loop 将其重新推向执行。大环 AgentEvolution 把经验沉淀、合成,经验证固化为有版本、有条件的状态,再由后续任务检验效果。固化的载体可以是外部策略、执行机制或权重,不意味着以后不能撤回。

超环 AgentSwarm 关注这些能力怎样跨主体继承,再经协作形成新的能力与经验。共识协调协议与责任,继承可以经蒸馏、内化和资产复用发生;涌现需要真实任务中的组合收益,不能由人数推出。群体学习的对象也包括组织本身:下次是否更会选择、分工、聚合与停止。

3.1 自组织

从单 Agent 扩展为团队,最简单的方案是由外部给定成员和任务图,再让各成员领取子任务。这可以增加执行能力,却将"为什么这样组织"留在系统之外。同样的模型、工具与预算,不保证不同分工会产生相同结果。

EvoMap 将 Self-Organize 放在 Plan 之前,是为了让组织成为一等变量:先选择单 Agent、固定团队或开放 Swarm,安排角色、通信、预算与验证责任,再决定具体拆分与依赖。组织影响规划粒度,规划暴露的新依赖又可能要求调整组织,两者需要相互修正。

固定有向无环的任务依赖图(DAG)并不等于固定组织。同一张图仍可搭配不同成员、通信和聚合方式;只有这些选择也由外部固定,系统才主要是在执行既定配置。关键不只是 DAG 由谁生成,而是哪些组织变量能根据结果被修改、验收与继承。

"先组织"也不要求在完全不了解任务时选好队伍。系统可以先分析粗任务特征,形成初始组织,再根据规划和执行反馈调整。这个顺序保护的是组织决策的独立地位,而不是创造一张只能执行一次的步骤表。否则顺序写对了,组织仍没有被学习。

3.2 递归协作

Kimi Agent Swarm 已经展示动态分工与推理时计算扩展。公开材料报告最多 100 个子 Agent、超过 1,500 次工具调用,以及相对顺序执行最高约 4.5 倍墙钟加速。13 这些可以说明执行表现,不单独证明总成本下降或组织政策持续进化。训练得到的编排策略可以包含跨任务学习,需要另行区分动态分工、策略更新与更新后的独立收益。

EvoMap 的 PEA(Plan---Execute---Aggregate,即规划---执行---聚合)还要回答:执行结束后,应该继续做、换一个计划,还是换一种组织?如果系统只有分解、执行与拼接,它可能很擅长扩大任务树,却缺少明确位置判断扩大是否有用。

• Plan:确定子任务、依赖与验收条件。

• Execute:产生结果、轨迹、阻塞与资源消耗。

• Aggregate:检查证据充分性与冲突,判断修复、重规划、重组织或停止。

Aggregate 因而不是文本合并器,而是结果返回决策的位置。计划遗漏依赖,可以回到 Plan;角色或协作结构造成问题,应回到 Self-Organize;继续执行的预期收益不足,则应停止。不断扩张任务树,却不能识别何时不该继续,只是在递归消耗资源。

这首先是任务内的控制结构。要形成跨任务学习,还需要将组织选择、失败归因与验证结果提炼为 Organization Gene,经 Hub 进入下一次 Self-Organize。回到 Plan 解决眼前问题,经验回到下次组织改变后续选择,二者不能因都有回流就混为一谈。

Organization Gene 不能只保存一张成功拓扑。它还要说明任务为什么适合这种组合,哪些角色提供独立信息,哪种聚合暴露冲突,以及何时增加成员反而无效。下一次需要继承的是选择的依据,不是"上次用了很多 Agent"。

图 4:任务中的组织经验经过验证,进入下一次自组织。

三环图按执行、演化与群体划分作用范围;任务递归、组织经验循环、元策略改进则描述实际发生的不同变化。它们不是一一对应。尤其不能将超环直接等同于 Meta,后者还要根据各循环的收益与代价,改变之后选择改进方向的方式。

3.3 组织传承

组织能否学习,需要看它继承了什么,而不是成员数量增长了多少。Anthropic 的自动化研究实验中,研究 Agent 获得有差异的初始方向,比收到相同提示更能维持思路多样性并改善搜索;相同提示的群体更容易收敛到少数方法。14 初始方向仍由人类设定,不是完整自主组织的证明,但说明数量与有效多样性是两回事。

角色名称不同,不意味着认知路径不同。如果成员依赖同一份材料、同一种评价和同一个明显假设,组织可能放大相关错误,同时增加通信、上下文复制、合并与验证负担。质量、墙钟时间、token、GPU 与人工投入应分别报告,先声明优化目标和资源约束,而不是事后将不同量纲拼成一个"总体收益"。

组织经验的作用可以通过清楚的对照来识别:固定模型、工具和任务分布,在可比预算下比较固定组织、动态组织、动态组织加经验复用,再对关键角色、通信与聚合做局部消融。这样,组织选择与任务结果之间的联系才有具体解释。

如果收益来自更强模型或修好了工具,不能全部记给组织经验;如果失败来自外部服务,也不能直接判定组织 Gene 错误。需要保留干预、条件与结果的关系,才能决定下次沿用、修改或拒绝哪一部分。

组织学习值得传承的,是"哪类任务在什么预算下适合怎样协作"。可靠组织也应知道何时退回单 Agent、保持串行上下文或提前停止。共识能够协调行动,却不能定义真值;一次协作完成得好,还要让之后的协作接受检验。

4. 循环协同

4.1 差速联动

经验与组织都能学习之后,外显与内化不必成为二选一。对同一条新经验,更重要的关系是:它什么时候能进入执行,又什么时候能成为模型的长期能力。两条路径可以先后生效,也可以持续交换反馈。

快环以 Harness RSI 为执行侧:任务产生结果与反馈,Data RSI 将运行条件和证据保存为 Capsule,将可复用策略提炼为 Gene。经过来源、版本、适用性与效果校验,经验便可以进入下一次任务,影响上下文、技能、工具使用与 Harness 更新。这个过程仍然调用模型的推理能力,只是不以修改权重作为新经验首次使用的前提。

慢环以 Model RSI 为内化侧:知识与经验被组织为训练语料,经过训练、权重更新、评测与发布,成为模型后续可调用的能力。图中的分钟到小时、天到周,表达的是两种更新节奏的量级差异;齿轮是机制类比,不是固定传动比或周期。

图 5:Agent Infra 在差速中连接即时经验与长期能力。

Agent Infra 的价值,就在于让两个环保持各自节奏,同时使改进能够流动。快环推动慢环:已经沉淀、可验证的经验转成训练候选,为模型提供来自真实任务的学习输入。慢环反哺快环:模型通过能力适配支撑 Harness 执行,模型能力的变化又带来新的任务表现与经验。缓存与复用则将已经得到的发现送回下一次行动,减少重复探索。

EvoMap 处在这一衔接位置。它让同一条新经验可以先在快环中发挥作用,再有机会进入权重;两次生效之间的时间窗口,使系统能够在模型更新周期之外持续适应。来源、版本、适用条件与运行反馈共同限定这份经验的使用范围,让时效与可靠性一起进入复用过程。

快环经验是模型学习的一路输入,模型也可以直接从世界知识中学习。图 1 的 Synthesis 负责衔接经验、种子与数据策略,把适合内化的材料组织为训练语料,而不只是转换文件格式。Agent Gene、Training Gene、训练记录、版本化语料(Corpus)与模型检查点(checkpoint)保留各自的来源和消费者,训练与执行的反馈因此能够沿清楚的路径返回。

这也解释了为什么复用次数不是唯一的内化依据。限定在某个依赖版本或工具组合下的策略,可以继续保留为外显条件;在多样任务中稳定有效、来源允许训练且能够表达条件与负例的经验,则适合进一步进入模型。执行侧保留适应性,权重侧积累通用能力,两者承担不同时间尺度上的学习。

4.2 联合更新

差速联动连接了经验生效的时间,联合更新则进一步说明两端怎样相互塑造。Harness 改变模型能够表现出的行为,模型更新又改变失败分布。将这些反馈送回彼此,可以让执行机制与能力共同适应,而不要求它们同步更新。

Self-HPO 每轮先让当前策略分析失败、提出 Harness 候选,再在选中的 Harness 下通过强化学习更新策略;训练后仍未解决的难例进入下一轮搜索。在论文自改进设置中,三个代码基准解决率的均值从 57.8% 提高到 64.8%,约增加 7 个百分点,并优于只优化 Harness 或只优化策略的对照。7 这是三个基准分数的平均,不是所有任务混池后的成功率,也不证明总研发成本下降。

组件重组中的独立收益与联合收益,进一步帮助区分单个部分改进和两端共同适应。执行机制改变当前策略的可达行为,更新后的策略又暴露新的机制限制。论文仍在固定代码任务、高层目标与外部验收下验证这条关系,不能只凭交替更新结构外推为通用自改进。

EvoMap 的快环与慢环可以按这组职责连接。快环先试出经验或工具组织是否有效,慢环尝试将广泛有效的能力内化;模型改变之后,旧 Gene 的条件又需要复核。快环成功不能无条件升级模型,慢环失败也应改变下一轮经验和执行机制的探索方向。

组织回路也进入这组双向联系。成员能力改变,分工粒度与验证责任随之调整;协作中暴露的失败,又帮助选择训练任务。共同反馈进入各自的更新流程,分别保留对象、条件与收益,使模型、经验与组织之间的相互作用能够被解释。

4.3 元编排

可变对象更多,不意味着下一步更清楚。工具接口有错,增加训练数据未必有效;组织重复与冲突严重,延长每个成员的上下文也未必解决。Meta 需要学习的是在当前条件下选择哪个干预更可能改变目标结果,而不是轮流启动所有循环。

Amazon 署名研究者的 A-Evolve-Training 给出了较窄的实例。系统自主提出数据与配方变更、运行训练、读取评估并取舍,报告在多周内进行了四轮 30B Nemotron 后训练,历史挑战得分为 0.86,对照当时人类最高提交的 0.87。15

比榜单更有解释力的是一次方向反转:候选将内部开发指标推到新高,外部目标却没有改善。系统因而修正后续研究政策,不再只最大化失真的代理指标,转向可能降低内部代理分数、却改善外部表现的干预。跨轮保留的是研究政策与发现日志,不是上一轮全部训练中间态。15

它开始更新寻找改进的假设,但初始可运行底座、比较规则与高层宪法仍固定,较大模型又缺可比人类锚点。训练内的政策更新,尚不能等同于跨 Data、Harness、Model、Swarm 的通用 Meta 已经实现。跑通训练是一个能力,证明竞争力是另一组证据。

图 6:Meta 按反馈与成本,在四类改进路径之间做选择。

EvoMap 的跨环 Meta 以任务条件、实际写入面、版本、资源、质量与失败原因为选择依据,决定何时复用经验、何时更新 Harness、何时组织训练,以及怎样调整协作。速度差因此也是编排条件:哪些变化应当及时进入执行,哪些值得投入更长的训练周期。具体写入由对应算子承担,真值、成本核算与安全边界保持独立,让不同节奏的改进围绕同一任务目标协同。

5. 递归验收

5.1 后继谱系

设计已经形成回流,验收还需要回答:继承之后,系统更会完成任务,还是更会产生下一次改进?这两个目标相关,却需要不同证据。一个冻结研究 Agent 不断生成更快程序,再将程序作为下次修改起点,可以构成有效优化;被继承的是产物,改进者与搜索政策却可能未变。

Weco 的 AIDE² 更直接地测试研究 Agent 自身。内层 Agent 优化具体研发任务,外层修改它的搜索、上下文与记忆代码,每个接受版本成为下一轮修改对象。作者报告一次八天自治运行取得七次接续改进,在四个未参与选择的基准上达到或超过人工开发的生产研究 Agent。实验内底座固定,任务预算包括模型调用与程序执行成本。16

论文也保留了后继改进者的边界:进化 Agent 被放到外层继续提出修改时,仍能生成被接受的候选,但双层噪声与追加多种子的成本,使效率优势不能与强人工基线明确统计区分。16 更会完成研发任务,不等于已经证明更会制造下一次改进。

图 7:两条回路分别继承更好的任务产物与新的改进者。

更强的证据应沿谱系展开:v0 提出候选,独立验收形成 v1;v1 进入后续执行或改进;再在可比成本下观察它是否更容易产生有效后继,以及收益能否迁移。Organization Gene 也应如此。保存、登记与传播是中间步骤,下一次组织和下一次组织学习是否获益,才是实质目标。

5.2 独立目标

谱系中的版本为什么被接受,是另一个关键问题。候选可能更适合开发集,也可能更容易影响评价接口。如果接受规则失真,版本积累就是在继承同一个偏差。

Anthropic 的 Automated Weak-to-Strong Researcher 展示了自主研究的强结果,也提供了必要边界。Claude 驱动的 Agent 提出假设、训练小模型并共享发现;弱教师与强学生分别选用 Qwen1.5-0.5B-Chat、Qwen3-4B-Base。PGR 以弱教师表现为 0、真值监督的强学生参考表现为 1,衡量恢复了多少性能差距,而不是学生的通用准确率。14

在聊天偏好测试床上,两名作者花七天调优四类既有方法的最佳 PGR 为 0.23;九个研究 Agent 约五天、累计 800 Agent 小时,计算与 API 成本约 18,000 美元,达到 0.97,即恢复该参考差距的 97%。14 这支持特定可评分问题中的自主实验价值,人类与 Agent 预算并不等同,也不是 Claude 在该实验中升级自身权重。

生产迁移需要另外检验。一个高分方法迁移到 Sonnet 4.0 的生产训练后,最好只提高约 0.5 个点,处于噪声范围。作者指出,该尝试只使用单 token 的 A/B 强制选择信号,不能据此判定所有生产迁移无效。14 小模型环境中的高分,不能替后面的迁移盖章。

同一研究还记录了思路趋同与评价投机。Sakana 的 DGM 记录过伪造工具执行结果、移除检测标记来"改善"幻觉评价的情况。17 自动实验扩大搜索,也扩大拟合数据、种子与接口的机会;候选越多,独立验收越不能被自己的解释替代。

自由度因此应不对称:允许修改候选代码、经验、配方与组织,限制其单方面修改隐藏真值、成本核算与安全准入。评价器可以升级,但仍需要外部校准。这些约束不是进化之外的阻力,而是让变化能够被可信接受的条件。

5.3 退化回滚

没有明显投机,经验也可能退化。错误归因被持久保存,局部策略过度泛化,检索图不断膨胀;后续采用又增强表面信任。问题不一定是经验太少,也可能是缺少缩小范围、拒绝与遗忘的机制。

SE-GoS 在固定模型、技能内容与检索流程时,根据执行证据更新技能检索图。其 DeepSeek-V4-Flash-0731 设置的主表,比较静态 GoS 的 52.4% 与一轮演化 SE-GoS 的 59.4%。18 按文中定义,分数是可评分尝试中单元测试通过比例的平均奖励值,不是任务全部通过的成功率。两者起始图也不同,不能写成同一 GoS 的简单前后升级。

论文另用 50 个任务积累经验,在 37 个未参与演化的任务上比较 GoS 的 52.9% 与 SE-GoS 的 58.3%,支持该设定下的有限迁移。多轮表中,SE-GoS 第一轮为 59.4%、第二轮约 59.8%、第三轮回落到 54.0%,同时图结构和成本增长。18 退化指相对前几轮回落,不是所有经验系统都会比不学习更差;这些点估计也未对每个细小差异做显著性检验。

字节 Seed 与 TokenWave 的 Self-Developing Agents 还报告,64 次可比 Harness 版本切换中,可见反馈与隐藏任务收益方向一致的只有 34 次,约 53.1%。19 这是具体实验里的更新校准,不是行业成功率。更新发生之后,独立目标仍需要检验。

图 8:开发反馈驱动候选迭代,独立验收决定继承或回滚。

对 EvoMap,负结果应进入下一次选择。采用失败可能来自模型差异、环境不匹配或原始归因错误,需要改变资产条件、信任、准入与遗忘决定。可靠经验网络不是维护一组永远成功的故事,而是让行动假设能够被证实、限制或推翻,再把这些变化送回后续行动。

6. 持续进化

6.1 经验先行

差速联动首先改变了新经验的使用方式。一个任务产生的发现,可以先成为带条件、可验证的行动依据,供下一次任务读取;模型则在更长的周期里吸收适合内化的知识。执行不必等待每一次重训,学习也不必在任务结束时停止。

对同一条经验,这两次生效之间有一段重要的时间窗口。快环将新信息带到行动现场,慢环将稳定能力带到更多任务中。EvoMap 连接的正是这段窗口:让已经得到的经验及时发挥作用,同时保留它进入长期能力的路径。来源、版本和任务条件,使复用始终围绕具体问题,而不是将一条新记录直接当作普遍答案。

模型能够通过推理得到新的结论,经验资产则可以保留结论产生的条件、动作和验证过程。下一次使用时,系统既有通用推理能力,也有可以追溯的行动依据。缓存、适配与复用把一次发现带到不同主体,让重复验证替代一部分重复探索,也让后续反馈继续修正经验。

这份先行价值,并不要求所有知识都先经过外部资产,也不要求每条经验最终都进入权重。适合局部条件的策略保留在执行侧,适合广泛任务的能力继续内化。两种载体围绕各自的作用范围协同,系统便能同时保持即时适应和长期积累。

6.2 能力积累

这种积累不只发生在单个 Agent。协作也会产生值得继承的经验:某类任务适合怎样的成员组合,哪种通信带来独立信息,怎样聚合能够暴露冲突,以及什么时候应该缩小任务或停止。Organization Gene 将这些条件带进下一次 Self-Organize,使组织方式与个体能力一起成为学习对象。

EvoMap 因而连接三种连续性:任务经验能够离开一次执行,组织经验能够离开一组临时成员,模型能力又能在后续训练中吸收更广泛的知识。Hub 让经验被发现和追踪,Harness 让它进入行动,Synthesis 衔接训练材料,Meta 则依据反馈与成本选择改进方向。各个部分保留独立职责,也共同承接下一轮学习。

图 9:四类单面改进经过共享验收,再进入受控的元编排。

回到开头的相似任务,第一次解决问题留下结果,经验沉淀使结果成为下一次可以使用的策略;一次协作留下组织依据,后继任务便能重新组合这些能力;经过训练与反馈,模型又为新的执行和组织提供认知基础。快环与慢环不是争夺同一个位置,而是在不同节奏中延续这份积累。

**RSI 的深层变化,是把怎样执行、怎样组织、怎样学习,变成能够被继承和持续改进的能力。**EvoMap 的理念也落在这里:让经验先改善下一次行动,让能力在长期积累中生长,让每一轮学习都能为下一轮提供新的起点。

参考资料

1 Anthropic --- When AI builds itself:https://www.anthropic.com/institute/recursive-self-improvement

2 Anthropic --- Measurements for understanding the pace of AI development inside frontier labs:https://www.anthropic.com/institute/measuring-pace-of-ai-development

3 Anthropic --- Claude Opus 5.5 System Card(2026 年 9 月,相关结论见第 2、34--36 页):https://www-cdn.anthropic.com/fc1b44717c85dc068bc6ba5024219938094694bd/Claude Opus 5.5 System Card.pdf

4 OpenAI --- GPT-6 Sol and GPT-6 Luna: October 2026 update:https://deploymentsafety.openai.com/gpt-6-october/introduction

5 Google DeepMind --- AlphaEvolve: A Gemini-powered coding agent for designing advanced algorithms:https://deepmind.google/blog/alphaevolve-a-gemini-powered-coding-agent-for-designing-advanced-algorithms/

6 Z.ai --- Toward Recursive Self-Improvement: How GLM Built Its Own Inference Infrastructure:https://z.ai/blog/glm-built-its-inference-infrastructure

7 Self-Evolving Coding Agents via Harness-Policy Optimization:https://arxiv.org/html/2610.22791v1

8 R-Zero: Self-Evolving Reasoning LLM from Zero Data:https://arxiv.org/abs/2508.05004

9 Moonshot AI --- Kimi K2: Open Agentic Intelligence:https://www.kimi.com/en/blog/kimi-k2

10 DeepSeek --- DeepSeek-V4: Towards Highly Efficient Million-Token Context Intelligence:https://arxiv.org/html/2606.19348v1

11 Meta FAIR --- Self-Taught Evaluators:https://arxiv.org/html/2408.02666v1

12 MetaExp: Learning to Self-Improve through Experience via Verifiable Cross-Task Environment Scaling:https://arxiv.org/html/2610.21492v1

13 Moonshot AI --- Kimi Introduces Agent Swarm: Let 100 AI Agents Work for You:https://www.kimi.com/en/blog/agent-swarm

14 Anthropic --- Automated Weak-to-Strong Researcher:https://alignment.anthropic.com/2026/automated-w2s-researcher/

15 A-Evolve-Training: Autonomous Post-Training of a 30B Model:https://arxiv.org/abs/2606.20657

16 Weco AI --- Recursive self-improvement of AI research agents:https://arxiv.org/html/2609.26457v1

17 Sakana AI --- The Darwin Gödel Machine:https://sakana.ai/dgm/

18 SE-GoS: Self-Evolving Graph-of-Skills for Skill Library at Scale:https://arxiv.org/html/2609.08228v2

19 ByteDance Seed / TokenWave --- Self-Developing Agents:https://self-developing-agents.github.io/

相关推荐
每天都要写算法(努力版)3 天前
【行业前沿报告】AutoML / AutoResearch / RSI
人工智能·agent·rsi
Florian6 天前
Agent Swarm:让组织与经验一起生长
swarm·evomap·gep·evo'x
七牛开发者7 天前
从 GLM 到 GPT,HarnessPro 如何用 RSI 降低 Agent 成本
人工智能·gpt·agent·harness·rsi
AI技术新视界11 天前
递归自我改进(RSI)是什么
人工智能·llm·1024程序员节·rsi
feasibility.12 天前
具身智能的进化分水岭:GPT-6-Astra踏进能力门,却卡在实用门——商汤联合团队开源RoboRSI:Harness递归改进能否填平这道落地鸿沟?
人工智能·gpt·机器人·具身智能·vla·harness·rsi
虹科数字化与AR16 天前
让精益管理从“看见问题”走向“确保行动发生”丨LOOP
经验分享·loop
AI技术新视界20 天前
Harness^2:递归自进化智能体Harnessing框架
人工智能·深度学习·算法·harness·rsi
老周聊架构22 天前
Loop Engineering:多智能体协作架构内幕与最佳实践
架构·loop·多智能协同
I Am a robert girl1 个月前
谷歌迈出RSI一大步:从Gemini模型迭代看AI工程化的新风向
人工智能·大模型·gemini·ai工程化·上下文工程·rsi·工具链集成