RSI = Recursive Self-Improvement,递归自我改进训练 大模型训练

RSI = Recursive Self-Improvement,递归自我改进训练(最近大模型圈说的RSI都是这个)

一句话概括:模型自己参与改进自己的训练流程,形成闭环迭代,从而持续提升模型,不是普通SFT/RLHF。

传统训练 vs RSI训练

  • 普通微调 / RLHF:人准备数据、写prompt、定奖励、选训练参数,人是外面的"教练";模型只负责学。
  • RSI训练:模型本身变成研发助手,自动跑这个循环:
  1. 当前模型输出结果、做实验、找自己哪里错了
  2. 自动生成高质量训练样本、写评估标准、甚至修改训练代码/超参
  3. 用这批新数据/新方案训练出更强的新版本
  4. 更强的新版本再回去做第1步,递归循环、自我迭代

重点区分:

只是"模型生成数据喂给自己",属于自蒸馏、self-play,是RSI的初级形态;

真正RSI是模型能改进训练过程本身(数据筛选、评估、训练脚本、环境),而不只是生成回答数据。

通俗例子(OCR、多模态里很火的用法,比如OXR)

模型读一堆无标注文档,自己识别;

再调用评判VLM判断:对 / 错 / 拿不准(uncertain);

把错题、模糊样本拿出来,自己分析错误原因、构造修正样本;

用这批自动挖掘的难样本继续训练自己;

下一轮它识别能力更强,能挖出更难的样本,持续涨点,几乎不用新增人工标注。

风险(为什么RSI是前沿且有争议)

  1. 奖励黑客(reward hacking):模型学会骗评估器,看着分高实际能力没涨
  2. 偏差自放大:如果评判本身有偏见,每一轮循环都会把偏见越滚越大
  3. 安全风险:极端理论上的"智能爆炸"假说源头就是RSI思路,现在工业界只是小规模后训练增强,远没到那个程度

补充:别和别的RSI搞混

  • RSI(Remote Sensing Image)遥感图像:是数据集,不是训练范式
  • RSI(Relative Surprisal Index)相对惊奇指数:是最近RL里的token筛选指标(RSI-S),用来挑训练token,和递归自改进不是一回事

如果你想要,我可以给你画一个RSI训练闭环的Mermaid流程图,或者对比:SFT / DPO / RLHF / RSI 的区别表。

相关推荐
ZhengEnCi6 分钟前
Agent 只输出计划不调用工具怎么办:从终止信号错位到结果验收的四层防线
人工智能·agent
xsd2024111818 分钟前
把模型从 FP32 压到 INT8:PTQ、QAT 与 PyTorch 量化全链路
人工智能
AI源码19 分钟前
基于机器学习的优衣库销售预测与决策系统
人工智能·机器学习
可夫小子36 分钟前
13 条数据跑出 65.87 分:这场 48 小时真机挑战赛,拆穿了具身智能的落地真相
人工智能
大模型真好玩1 小时前
做好真人分身却不知道拍什么?8个视频应用场景直接抄
人工智能·agent·deepseek
ZhengEnCi1 小时前
黄仁勋想回英伟达却被拒:创始人 CEO 辞职后为什么回不来,董事会继任机制全拆解
人工智能·nvidia·团队管理
真上帝的左手2 小时前
26. AI-大语言模型-基础
人工智能·ai·架构·llm·大语言模型
墨林陌2 小时前
AI 热点日报(2026-11-18):OpenAI 发布 GPT-6.2,APEC 峰会聚焦 AI,AI 制药融资创新高
人工智能
byte轻骑兵2 小时前
【ATT】规范精讲[8]:配置要确认、灌包要速度、多字段要原子——BLE 写入的四重选择
人工智能·aiot·l2cap·嵌入式蓝牙·蓝牙链路管理
AAA修煤气灶刘哥3 小时前
Agent 都能干活了,软件还需要那么多按钮吗?
人工智能·后端·架构