RSI = Recursive Self-Improvement,递归自我改进训练(最近大模型圈说的RSI都是这个)
一句话概括:模型自己参与改进自己的训练流程,形成闭环迭代,从而持续提升模型,不是普通SFT/RLHF。
传统训练 vs RSI训练
- 普通微调 / RLHF:人准备数据、写prompt、定奖励、选训练参数,人是外面的"教练";模型只负责学。
- RSI训练:模型本身变成研发助手,自动跑这个循环:
- 当前模型输出结果、做实验、找自己哪里错了
- 自动生成高质量训练样本、写评估标准、甚至修改训练代码/超参
- 用这批新数据/新方案训练出更强的新版本
- 更强的新版本再回去做第1步,递归循环、自我迭代
重点区分:
只是"模型生成数据喂给自己",属于自蒸馏、self-play,是RSI的初级形态;
真正RSI是模型能改进训练过程本身(数据筛选、评估、训练脚本、环境),而不只是生成回答数据。
通俗例子(OCR、多模态里很火的用法,比如OXR)
模型读一堆无标注文档,自己识别;
再调用评判VLM判断:对 / 错 / 拿不准(uncertain);
把错题、模糊样本拿出来,自己分析错误原因、构造修正样本;
用这批自动挖掘的难样本继续训练自己;
下一轮它识别能力更强,能挖出更难的样本,持续涨点,几乎不用新增人工标注。
风险(为什么RSI是前沿且有争议)
- 奖励黑客(reward hacking):模型学会骗评估器,看着分高实际能力没涨
- 偏差自放大:如果评判本身有偏见,每一轮循环都会把偏见越滚越大
- 安全风险:极端理论上的"智能爆炸"假说源头就是RSI思路,现在工业界只是小规模后训练增强,远没到那个程度
补充:别和别的RSI搞混
- RSI(Remote Sensing Image)遥感图像:是数据集,不是训练范式
- RSI(Relative Surprisal Index)相对惊奇指数:是最近RL里的token筛选指标(RSI-S),用来挑训练token,和递归自改进不是一回事
如果你想要,我可以给你画一个RSI训练闭环的Mermaid流程图,或者对比:SFT / DPO / RLHF / RSI 的区别表。