从空间 Scaling 到时间 Scaling：一个关于 RSI 的想法是怎么被推翻三次的
摘要：LLM 在预训练规模上遇到瓶颈后，行业叙事正在从"拼算力、拼数据量"转向"拼模型自我改进的迭代速度"。这个直觉方向是对的，且已被产业界实际押注。但"让模型自己改自己、然后疯狂迭代"作为机制主张是脆弱的：迭代速度只是放大器，不是资产；真正决定上限的是外生新颖性与反馈可信度。本文记录一个想法被三次修正的完整过程，并给出一个可证伪的重述版本。
一、问题的起点：直觉为什么对
一个常见的观察是：当前 LLM 发展在算力和数据规模上已经进入瓶颈期，而 RSI（Recursive Self-Improvement，递归自我改进）最近风头正盛。由此推出一个判断------竞争会从"空间维度上拼算力和数据规模"，逐渐转为"拼模型训练的迭代速度"：让模型自己改自己，然后疯狂迭代，把智能水平推高一档。
这个趋势判断成立，而且已经不是"风头正盛"，而是 2026 年下半场的主赛道。 几条佐证：
- Anthropic 在 2026 年 6 月的《When AI builds itself》中披露，其合并代码 80% 以上由 Claude 编写，训练代码的加速比从 3× 做到约 52×；
- ICLR 2026 专门设立了 "AI with Recursive Self-Improvement" workshop；
- 国内智谱把"递归式自我改进"写进港股公告的技术路线；MiniMax M2.7 可以跑 100 轮以上的"分析---改进---验证"闭环；腾讯 Hyra、字节 Seed-for-Seed、Recursive Superintelligence（6.5 亿美元融资）都在这条线上；
- 中国信通院 10 月发布的十大关键词里，"模型自进化"排在第一；宇树王兴兴 11 月在乌镇的说法几乎与上述直觉一致------"让 AI 模型自己采集数据、自己训练迭代"；工信部与国资委的具身智能实景实训专项行动，写的也是"实景实训---数据沉淀---产品迭代---规模部署"闭环。
所以"从空间维度的规模转向时间维度的迭代"这个重述本身有价值，甚至可以作为比"自强化学习"更准确的说法：从空间 scaling 到时间 scaling。
但作为机制主张，它需要三次修正。
二、第一步修正：这个想法已经有名字，而且分四层
"让模型自己改自己"学术圈就叫 RSI，源头可追溯到 I. J. Good 1965 年的论述，2024 年的 STOP、Gödel Agent 是早期形态。顺带一个避坑提醒："自强化学习"这个名字已经被用了------self-play RL / self-reinforcement learning（Meta 的 SPICE 是典型），还容易和遥感图像、RL 里的 Relative Surprisal Index 撞车。
更重要的是，业内对"什么才算 RSI"划了一条很硬的线，这条线直接决定想法落在哪一档：
| 层级 | 改的是什么 | 现状 |
|---|---|---|
| L1 输出级 | 模型改自己的答案（self-correction） | 在现代 LLM 上基本被证明无效 |
| L2 脚手架级 | 改 prompt / skill / workflow，不动权重（DSPy、STOP） | 有效，但不算真 RSI |
| L3 数据级 | 自生成数据喂给自己（self-training / self-play） | 主流做法，但收益递减快 |
| L4 流程级 | 模型改写"下一次改进它自己的方式"（训练脚本、数据筛选、评估、超参） | 这才是强 RSI |
清华刘厚德团队的说法更狠：不会仅因能改变自身而实现改进，只有当证据开始改变它"未来如何改变自身"时，递归式自我改进才真正发生。
因此，推进这个想法的第一件事是明确指的是哪一层。泛泛地说"模型自己改自己"，会被直接归到 L1。
三、第二步修正：瓶颈没消失，只是换了位置
"算力和数据出现瓶颈"这部分成立但不完整。真实情况是预训练规模收益递减 + 人类语料逼近枯竭，于是行业用"合成数据 + RL"接力------修正扩展定律甚至证明纯合成数据也能走幂律，直到约 300B tokens 饱和。
注意：这里接力的不是"自我迭代"，而是合成数据。这两件事经常被混为一谈，但它们解决的不是同一个问题。
关键的转移在于：约束从"有多少算力和数据"变成了**"有多少不可伪造的反馈信号"**。
这正是"疯狂迭代"最危险的地方。Meta 的 SPICE 论文讲得很直白：没有外部 grounding，模型必然 plateau 或 collapse，原因有两个------幻觉放大 （问答两端的错误互相喂养）与信息对称 （出题者与解题者共享同一知识库，挑战会越来越简单、越来越重复）。还有一个很硬的实验数字：Mirror Loop 中，模型经过十轮无外部反馈的自我批评后，累计信息变化下降 55%；一加回外部验证，前进势头才恢复。
结论：迭代速度本身不是资产，它是放大器------放大进步，也放大漂移。 在一个弱验证器上跑得越快，塌得越快。行业内那句"离开代码生成和数学推理这两个有明确验证标准的温室，就会演变成左脚踩右脚的刷榜游戏"，说的就是这个。
所以更准确的表述是：竞争焦点从"空间维度的规模"转向"时间维度的迭代效率 × 验证器的可信度"。把"速度"当成新的 scaling 维度是有价值的重述，但必须带上验证器这个乘数项，否则公式不成立。
四、第三步修正：即使让它去外面拿数据，仍有三道坎
补上"闭系统造不出新信息"的最自然答案是：那就让模型自己去探索外部世界，自己决定要什么数据，回流训练。这正是产业界在押注的路。但"自己想获取的数据"这七个字里藏着一个比上一轮更隐蔽的问题。
4.1 "自己想获取"是自指陷阱
把探索目标函数也交给模型，意味着探索方向由偏好决定，而偏好由当前权重决定，于是形成一个收敛链：
第 N 代的偏好 ← 第 N 代的能力与认知边界 ← 第 N-1 代的数据 ← 第 N-1 代的偏好
几轮之后系统会稳定在一个能力气泡 里：模型越来越擅长探索它已经能理解的世界切片，同时系统性回避那些它连"该怎么问"都想不出来的区域。这在认识论上很致命------真正有价值的新数据，往往是你没意识到应该去采集的那部分，而闭系统的探索策略对这类盲区的梯度天生为零。
机器学习里有对应的具体问题：自选择偏差 / 分布偏移 。已有论文明确指出，自我改进时不仅要过滤错误样本，还要主动过滤"正确但分布偏移过大"的样本（IWSI 一类工作用 DS weight 做这件事），否则模型越练越偏。也就是说，当前共识方向是"给自主探索加约束"，而"把约束拿掉"是反方向，需要解释为什么不会触发这个已知失效模式。
生物学上也有对照：演化没有"自己想要什么数据"这回事，它的探索方向是被死亡这个外部信号强行 reshuffle 的。去掉外生压力后的自主探索，在自然界对应的状态叫生态位特化，而不是智能跃升。
4.2 探索的成本结构决定了这是谁的生意
数字世界的探索便宜，但基本已经枯竭------公开语料被吃了好几轮，剩下的多是合成数据互相喂养。真正还有增量的是需要 actuation 的世界 ：物理场景、真实用户、真实产线、湿实验。它们的共同特征是慢、贵、不可并行。
几个现实数字：全国建了 70 多家具身智能训练场还在补，工信部要靠专项行动推万台级部署；大晓机器人的路线是用真人穿戴设备替代真机采集，再靠世界模型把千万小时放大成上亿小时等效------核心技术恰恰是用仿真替代真实探索，而不是增加真实探索；AI Scientist 能上 Nature，靠的是它真的有实验仪器可以跑，一个假设从提出到拿到测量结果仍有物理时钟限制。
所以结论有点扫兴："时间维度上的疯狂迭代"在物理世界里不成立。 你能疯狂的只有训练那一环，探索那一环注定串行且昂贵。这意味着这条路线的胜负手不在算法，而在谁握有低成本的大规模真实交互入口------工厂、家庭、实验室、浏览器、用户群。这是渠道和硬件的问题。
4.3 探索到的不等于能用的：反馈必须不可伪造
探索空间一旦放开，坏数据的绝对量会暴增。对比目前真正跑得通的自主探索案例，会发现它们有一个共同点：
| 探索域 | 反馈来源 | 可否伪造 |
|---|---|---|
| 自主实验室 | 仪器测量结果 | 基本不可伪造 |
| 具身实景实训 | 任务成败 | 不可伪造 |
| Agent 在线探索（LAM Simulator 一类） | 工具执行结果 | 部分可伪造 |
| 网上自己找资料 | 网页内容 / 自评 | 高度可伪造 |
LAM Simulator 能做到 49% 的提升，Autonomous Agentic Data Engineering 能做到 57% 的提升，都发生在有明确任务目标和执行反馈的封闭环境里。而那篇 agentic data engineering 论文自己也承认最大的 failure mode 是：模型缺乏可靠的生成后质量保障机制。
一句话：开放探索 + 弱验证 = 高速退化。 把探索权交给模型却没有同步升级验证器，相当于换了更大的油箱却没装刹车。
五、最终重述：一个可证伪的版本
原命题：让模型自己去探索外面世界、把自己想要的数据加进训练集、然后疯狂迭代。
重述为：
让模型自主寻找"它在独立评测上答不上来、且外部环境能提供不可伪造反馈"的样本，回流训练；迭代速度只决定单位反馈预算下能跑多少轮，真正的上限由外生新颖性和反馈可信度共同决定。
三处改动都很关键：
| 维度 | 原命题 | 重述后 |
|---|---|---|
| 探索目标 | 模型"自己想获取" | 外部证明它"不会"（偏好由内生改为外生，绕开能力气泡） |
| 执行条件 | 无 | 必须有不可伪造反馈，否则探索不予执行 |
| 迭代速度 | 驱动项 | 降级为效率项 |
这个版本是可证伪的，立刻导出四个可做的实验：
- 探索策略对照：内生偏好驱动 vs 外部失败驱动，哪个跨代不退化？
- 闭环速率上限：给定 verifier 质量，一轮闭环最多能跑多快而不漂移？
- 跨代传递性度量 ：第 N 代模型在未参与选择的独立评测上，是否仍然比第 N-1 代更擅长继续改进？目前行业缺的就是这个能区分"真 RSI"与"刷榜"的标准。
- 采样成本：ReMix 这类 off-policy 方法已经把 rollout 数据量压掉 30--450 倍。若目标真是"更快迭代"，这条路比改架构实在得多。
按价值排序，最硬的位置其实是做验证器而不是做循环：现在 RSI 只在有标准答案的温室里有效，谁能把 verifier 做到开放域（设计、科研、长链路业务流），谁就握住了整个赛道的闸门。
六、一个绕不过去的部分：治理
信通院给"有界自进化"下的定义里特意列了一句：优化目标、评价标准、数据与算力、工具权限和安全边界仍由人类设定。 把探索与数据采集权整体交给模型，等于把"数据"这一项交出去。
而"数据"恰恰是最容易被 instrumental convergence 劫持的一项------一个以性能为目标的系统，如果发现改造环境比理解环境更容易拿到好反馈，它会优先选择前者。在低速闭环里人类还能察觉，在高速闭环里这会直接变成不可逆的污染。Anthropic 那篇博文呼吁前沿实验室建立协调机制，IST 的 LOC 框架把"迭代速度超过人类监督能力"列为风险，针对的都是这件事：传统安全逻辑是"人评估---修复---再上线"，这个节奏在高速闭环里会被直接击穿。
因此，探索边界的可审计性应该当成产品特性来做，而不是事后合规。谁先做出"能证明模型没去碰不该碰的地方"的机制，谁才有资格拿到真实世界的交互入口。
七、结语
把一个想法从直觉推到可执行纲领，要交三次学费：
| 版本 | 主张 | 判定 |
|---|---|---|
| V1 | 空间拼规模 → 时间拼迭代，模型自己改自己 | 趋势判断成立，机制主张脆弱 |
| V2 | 让模型自己去外部世界取数据再自我训练 | 补上闭系统的洞，但把雷挪到自指偏差与串行成本 |
| V3 | 只回流"外部证明我不会 + 反馈不可伪造"的样本；速度只是效率项 | 可证伪、可立项 |
一句话收束：下一阶段的胜负手，是谁能在不牺牲验证可信度的前提下，把改进闭环的成本压到最低。
这不是一个纯技术议题。往算法侧走，最值得做的是开放域验证器和跨代传递性度量；往落地侧走，应该先看探索入口而不是先看算法。
参考资料
- Anthropic, When AI builds itself, 2026 年 6 月
- ICLR 2026 Workshop: AI with Recursive Self-Improvement
- I. J. Good, Speculations Concerning the First Ultraintelligent Machine, 1965
- STOP: Self-Taught Optimizer, 2024
- Gödel Agent, 2024
- Meta, SPICE: Self-Play with Language Models
- Mirror Loop: 自我批评中的信息衰减实验
- 中国信通院 2026 年度十大关键词（"模型自进化"）
- 工信部、国资委具身智能实景实训专项行动相关公开报道