RSI = Recursive Self-Improvement,递归自我改进训练 大模型训练

RSI = Recursive Self-Improvement,递归自我改进训练(最近大模型圈说的RSI都是这个)

一句话概括:模型自己参与改进自己的训练流程,形成闭环迭代,从而持续提升模型,不是普通SFT/RLHF。

传统训练 vs RSI训练

  • 普通微调 / RLHF:人准备数据、写prompt、定奖励、选训练参数,人是外面的"教练";模型只负责学。
  • RSI训练:模型本身变成研发助手,自动跑这个循环:
  1. 当前模型输出结果、做实验、找自己哪里错了
  2. 自动生成高质量训练样本、写评估标准、甚至修改训练代码/超参
  3. 用这批新数据/新方案训练出更强的新版本
  4. 更强的新版本再回去做第1步,递归循环、自我迭代

重点区分:

只是"模型生成数据喂给自己",属于自蒸馏、self-play,是RSI的初级形态;

真正RSI是模型能改进训练过程本身(数据筛选、评估、训练脚本、环境),而不只是生成回答数据。

通俗例子(OCR、多模态里很火的用法,比如OXR)

模型读一堆无标注文档,自己识别;

再调用评判VLM判断:对 / 错 / 拿不准(uncertain);

把错题、模糊样本拿出来,自己分析错误原因、构造修正样本;

用这批自动挖掘的难样本继续训练自己;

下一轮它识别能力更强,能挖出更难的样本,持续涨点,几乎不用新增人工标注。

风险(为什么RSI是前沿且有争议)

  1. 奖励黑客(reward hacking):模型学会骗评估器,看着分高实际能力没涨
  2. 偏差自放大:如果评判本身有偏见,每一轮循环都会把偏见越滚越大
  3. 安全风险:极端理论上的"智能爆炸"假说源头就是RSI思路,现在工业界只是小规模后训练增强,远没到那个程度

补充:别和别的RSI搞混

  • RSI(Remote Sensing Image)遥感图像:是数据集,不是训练范式
  • RSI(Relative Surprisal Index)相对惊奇指数:是最近RL里的token筛选指标(RSI-S),用来挑训练token,和递归自改进不是一回事

如果你想要,我可以给你画一个RSI训练闭环的Mermaid流程图,或者对比:SFT / DPO / RLHF / RSI 的区别表。

相关推荐
天天代码码天天1 小时前
用 C# 做了个盲文照片识别工坊:能改点、能补格,还能离线运行
人工智能
tellmewhoisi1 小时前
深度学习23:PyTorch:搭建神经网络测试(查看参数,模型结构和device设置)
pytorch·深度学习·神经网络
lucas_AI1 小时前
Gemini 4 Carbon 发布:网络安全基准杀疯了,但你暂时用不上
人工智能
像污秽一样1 小时前
动手学kaggle-Intro to Machine Learning-2
人工智能·机器学习
甜到心里的蛋糕1 小时前
AI 生成 MV 音频异响排查:频谱定位、片段替换与 Nginx 缓存
人工智能·python·nginx·ffmpeg·音视频·音频处理
lucas_AI1 小时前
每次迭代都全量跑基准?Meta 用 574 次真实运行告诉你:200 道题就够准
人工智能
几何心凉1 小时前
科研论文配图设计与制作指南:从Excel/Origin到AI绘图,对标Nature/Science,零门槛上手!
人工智能
释厄6231 小时前
矢量词汇向下不向上公理即词汇归位定律——肤浅即表面
java·人工智能·算法·去中心化·1024程序员节
长不大的杨瑞杰1 小时前
OpenCode v2 多源上下文实战:Websearch、References、Attachments 与缓存预热
人工智能·安全·云计算·软件工程·devops