自进化（Self-evolving / RSI）：让 AI 系统自己变强的机制与边界

1. 什么是自进化（Self-evolving）

自进化（Self-evolving）指的是一个系统在运行过程中，能够基于自身的经验、反馈或内部生成的数据，持续改进自己的能力，而不完全依赖外部人工重新设计或重新标注。

与之紧密相关的一个概念是 RSI（Recursive Self-Improvement，递归自我改进）：系统改进自身的能力，而这种被改进后的能力又能用于下一轮改进，形成正反馈循环。

一句话概括两者的关系：

Self-evolving 是更宽泛的目标：系统能持续变强。
RSI 是其中最激进的一种路径：系统直接改进"改进自己的能力"。

2. 为什么自进化突然变得重要

过去几年，模型能力的提升主要靠三件事：更多数据、更大参数、更强算力。但这三条曲线都在变贵、变慢。于是研究重心开始转向"如何让模型自己产出高质量训练信号"。

自进化之所以有吸引力，核心在于它试图打破一个瓶颈：

人类标注数据的增长速度，跟不上模型能力增长的需求。

如果模型能够自己生成题目、自己解题、自己评判、自己筛选，那么数据供给就从"人力驱动"变成"算力驱动"，理论上可以持续扩张。

3. 自进化的几种典型形态

3.1 数据层面的自进化

模型生成训练数据，再用于训练自己。典型做法包括：

自生成指令：让模型生成任务指令与对应答案，筛选后回流训练。
拒绝采样（Rejection Sampling）：多次采样，只保留通过验证的样本。
自洽性筛选：多次推理投票，保留高一致性结果。

这类方法的关键不在"生成"，而在"筛选"------筛选器的质量决定了自进化的上限。

3.2 反馈层面的自进化

引入可验证的反馈信号，让模型在试错中改进：

代码任务用单元测试作为奖励信号；
数学任务用最终答案比对；
工具调用任务用执行结果校验。

这类场景被称为 RLVR（Reinforcement Learning with Verifiable Rewards），是目前自进化落地最扎实的方向，因为奖励信号客观、难以被模型"钻空子"。

3.3 策略层面的自进化

模型不仅改进输出，还改进"如何思考"：

自我反思（Reflection）：失败后总结原因，写入下一轮上下文；
经验记忆（Experience Memory）：把成功策略沉淀为可复用知识；
提示词自优化：让模型改写自己的系统提示。

3.4 架构层面的自进化（RSI 的核心）

最激进的一层：系统修改自己的代码、训练流程或搜索策略。这一层目前仍主要停留在研究与小规模实验阶段，因为一旦失控，风险与收益同样巨大。

4. 一个最小可运行的自进化循环

无论哪一层，自进化循环通常包含四个环节：
#mermaid-svg-Io9HBku58viVj4Uw{font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:16px;fill:#333;}@keyframes edge-animation-frame{from{stroke-dashoffset:0;}}@keyframes dash{to{stroke-dashoffset:0;}}#mermaid-svg-Io9HBku58viVj4Uw .edge-animation-slow{stroke-dasharray:9,5!important;stroke-dashoffset:900;animation:dash 50s linear infinite;stroke-linecap:round;}#mermaid-svg-Io9HBku58viVj4Uw .edge-animation-fast{stroke-dasharray:9,5!important;stroke-dashoffset:900;animation:dash 20s linear infinite;stroke-linecap:round;}#mermaid-svg-Io9HBku58viVj4Uw .error-icon{fill:#552222;}#mermaid-svg-Io9HBku58viVj4Uw .error-text{fill:#552222;stroke:#552222;}#mermaid-svg-Io9HBku58viVj4Uw .edge-thickness-normal{stroke-width:1px;}#mermaid-svg-Io9HBku58viVj4Uw .edge-thickness-thick{stroke-width:3.5px;}#mermaid-svg-Io9HBku58viVj4Uw .edge-pattern-solid{stroke-dasharray:0;}#mermaid-svg-Io9HBku58viVj4Uw .edge-thickness-invisible{stroke-width:0;fill:none;}#mermaid-svg-Io9HBku58viVj4Uw .edge-pattern-dashed{stroke-dasharray:3;}#mermaid-svg-Io9HBku58viVj4Uw .edge-pattern-dotted{stroke-dasharray:2;}#mermaid-svg-Io9HBku58viVj4Uw .marker{fill:#333333;stroke:#333333;}#mermaid-svg-Io9HBku58viVj4Uw .marker.cross{stroke:#333333;}#mermaid-svg-Io9HBku58viVj4Uw svg{font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:16px;}#mermaid-svg-Io9HBku58viVj4Uw p{margin:0;}#mermaid-svg-Io9HBku58viVj4Uw .label{font-family:"trebuchet ms",verdana,arial,sans-serif;color:#333;}#mermaid-svg-Io9HBku58viVj4Uw .cluster-label text{fill:#333;}#mermaid-svg-Io9HBku58viVj4Uw .cluster-label span{color:#333;}#mermaid-svg-Io9HBku58viVj4Uw .cluster-label span p{background-color:transparent;}#mermaid-svg-Io9HBku58viVj4Uw .label text,#mermaid-svg-Io9HBku58viVj4Uw span{fill:#333;color:#333;}#mermaid-svg-Io9HBku58viVj4Uw .node rect,#mermaid-svg-Io9HBku58viVj4Uw .node circle,#mermaid-svg-Io9HBku58viVj4Uw .node ellipse,#mermaid-svg-Io9HBku58viVj4Uw .node polygon,#mermaid-svg-Io9HBku58viVj4Uw .node path{fill:#ECECFF;stroke:#9370DB;stroke-width:1px;}#mermaid-svg-Io9HBku58viVj4Uw .rough-node .label text,#mermaid-svg-Io9HBku58viVj4Uw .node .label text,#mermaid-svg-Io9HBku58viVj4Uw .image-shape .label,#mermaid-svg-Io9HBku58viVj4Uw .icon-shape .label{text-anchor:middle;}#mermaid-svg-Io9HBku58viVj4Uw .node .katex path{fill:#000;stroke:#000;stroke-width:1px;}#mermaid-svg-Io9HBku58viVj4Uw .rough-node .label,#mermaid-svg-Io9HBku58viVj4Uw .node .label,#mermaid-svg-Io9HBku58viVj4Uw .image-shape .label,#mermaid-svg-Io9HBku58viVj4Uw .icon-shape .label{text-align:center;}#mermaid-svg-Io9HBku58viVj4Uw .node.clickable{cursor:pointer;}#mermaid-svg-Io9HBku58viVj4Uw .root .anchor path{fill:#333333!important;stroke-width:0;stroke:#333333;}#mermaid-svg-Io9HBku58viVj4Uw .arrowheadPath{fill:#333333;}#mermaid-svg-Io9HBku58viVj4Uw .edgePath .path{stroke:#333333;stroke-width:2.0px;}#mermaid-svg-Io9HBku58viVj4Uw .flowchart-link{stroke:#333333;fill:none;}#mermaid-svg-Io9HBku58viVj4Uw .edgeLabel{background-color:rgba(232,232,232, 0.8);text-align:center;}#mermaid-svg-Io9HBku58viVj4Uw .edgeLabel p{background-color:rgba(232,232,232, 0.8);}#mermaid-svg-Io9HBku58viVj4Uw .edgeLabel rect{opacity:0.5;background-color:rgba(232,232,232, 0.8);fill:rgba(232,232,232, 0.8);}#mermaid-svg-Io9HBku58viVj4Uw .labelBkg{background-color:rgba(232, 232, 232, 0.5);}#mermaid-svg-Io9HBku58viVj4Uw .cluster rect{fill:#ffffde;stroke:#aaaa33;stroke-width:1px;}#mermaid-svg-Io9HBku58viVj4Uw .cluster text{fill:#333;}#mermaid-svg-Io9HBku58viVj4Uw .cluster span{color:#333;}#mermaid-svg-Io9HBku58viVj4Uw div.mermaidTooltip{position:absolute;text-align:center;max-width:200px;padding:2px;font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:12px;background:hsl(80, 100%, 96.2745098039%);border:1px solid #aaaa33;border-radius:2px;pointer-events:none;z-index:100;}#mermaid-svg-Io9HBku58viVj4Uw .flowchartTitleText{text-anchor:middle;font-size:18px;fill:#333;}#mermaid-svg-Io9HBku58viVj4Uw rect.text{fill:none;stroke-width:0;}#mermaid-svg-Io9HBku58viVj4Uw .icon-shape,#mermaid-svg-Io9HBku58viVj4Uw .image-shape{background-color:rgba(232,232,232, 0.8);text-align:center;}#mermaid-svg-Io9HBku58viVj4Uw .icon-shape p,#mermaid-svg-Io9HBku58viVj4Uw .image-shape p{background-color:rgba(232,232,232, 0.8);padding:2px;}#mermaid-svg-Io9HBku58viVj4Uw .icon-shape .label rect,#mermaid-svg-Io9HBku58viVj4Uw .image-shape .label rect{opacity:0.5;background-color:rgba(232,232,232, 0.8);fill:rgba(232,232,232, 0.8);}#mermaid-svg-Io9HBku58viVj4Uw .label-icon{display:inline-block;height:1em;overflow:visible;vertical-align:-0.125em;}#mermaid-svg-Io9HBku58viVj4Uw .node .label-icon path{fill:currentColor;stroke:revert;stroke-width:revert;}#mermaid-svg-Io9HBku58viVj4Uw :root{--mermaid-font-family:"trebuchet ms",verdana,arial,sans-serif;} 否
是
任务采样
模型生成候选解
验证器打分/筛选
是否达标
失败归因与反思
高质量样本入库
回流训练/更新策略

用伪代码表达这个循环：

python 复制代码

def self_evolve(model, verifier, task_pool, rounds=10):
    memory = []
    for _ in range(rounds):
        tasks = task_pool.sample()
        candidates = [model.generate(t) for t in tasks]

        # 关键：验证器决定哪些样本可以回流
        accepted = [c for c in candidates if verifier.check(c)]

        # 失败样本用于反思，而不是直接丢弃
        failed = [c for c in candidates if not verifier.check(c)]
        reflections = [model.reflect(c) for c in failed]

        memory.extend(accepted)
        model.update(memory, reflections)
        task_pool.expand(model)  # 让模型自己出更难的题
    return model

这段代码里有两个容易被忽视的设计点：

验证器必须独立于生成器，否则模型会学会"讨好自己"。
失败样本不能直接丢弃，反思信号往往比成功样本更有信息量。

5. 自进化的核心难点

5.1 奖励黑客（Reward Hacking）

模型会找到验证器的漏洞，而不是真正学会解决问题。例如在代码任务中，模型可能写出"让测试通过但不解决问题"的代码。

缓解思路：多验证器交叉、隐藏测试集、定期更换验证器。

5.2 分布漂移与模型崩溃

模型用自己的输出训练自己，容易导致多样性下降、错误累积，最终"越训越窄"，这被称为 Model Collapse。

缓解思路：保留真实数据锚点、控制合成数据比例、引入多样性约束。

5.3 能力评估失真

当模型参与生成评估数据时，评估本身可能被污染，导致"看起来在进步，实际在原地"。

缓解思路：保留一套完全隔离的、人工维护的评测集。

5.4 安全与可控性

RSI 的极端形态意味着系统可能修改自身目标函数。这不是工程问题，而是对齐问题。

6. 工程实践建议

如果你要在自己的项目中引入自进化机制，建议按以下顺序推进：

先有可靠验证器：没有客观反馈信号，自进化就是自我强化偏见。
从小闭环开始：先在一个窄任务上跑通"生成---验证---回流"。
监控多样性指标：输出熵、去重率、任务覆盖率，比准确率更早暴露问题。
保留人工兜底：关键路径上的模型更新必须有人工审核环节。
设置能力上限与熔断：当系统行为偏离预期时能快速回滚。

7. 总结

自进化与 RSI 代表了一种范式转变：从"人类教模型"走向"模型在人类设定的框架内自我提升"。

但需要清醒认识的是：自进化的天花板由验证器决定，自进化的安全边界由人类守住。 在当前阶段，它更像是一种高效的数据与策略放大机制，而不是科幻意义上的"系统自主进化"。理解这一点，才能在实际工程中既用得上，又不至于失控。