概念层 ------ AutoML / AutoResearch / RSI
摘要 ：本文梳理 AI 自我改进谱系上的三个核心概念------AutoML、AutoResearch 与 RSI（递归自我改进）。AutoML 把建模环节端到端自动化，但搜索空间与目标函数由人预先定义；AutoResearch 将自动化范围扩展到整个科研循环，人退居方向设定与价值判断；RSI 则要求系统自主设计后继系统，且每次改进让下一次改进更容易，形成复利式正反馈。 文章辨析三者的边界与递进关系，并解读两份关键综述：arXiv 2607.07663 以「what × 闭环程度」两轴分类 1,250 篇论文，提出验证层级理论；arXiv 2609.11873 给出 HCI 能力余量闭合指数与 L1--L5 自主权路线图，指出当今尚无系统令人信服地达到有效 L5，真正递归改进需满足可衡量、可保持、可迁移、可回滚四条件。
AutoML（Automated Machine Learning，自动机器学习）
定义（来源：Wikipedia 自动机器学习条目、OVHcloud、AITerms、AI Master 术语站）：
- 将机器学习应用于现实世界问题的端到端任务自动化过程，覆盖从原始数据到可部署模型的每个阶段：数据预处理、特征工程、算法/模型选择、超参数优化（HPO）、模型评估与部署。
- 核心目标：降低 ML 应用门槛（非专家可用）+ 提升专家效率；AutoML 系统常能发现性能优于手工设计的模型。
- 常用技术：超参数优化（贝叶斯优化、HyperBand/BOHB）、元学习、神经架构搜索（NAS，代表成果 NASNet、EfficientNet、DARTS）。
- 代表系统：Auto-WEKA、Auto-sklearn、TPOT、H2O AutoML、Google AutoML、Ray Tune、Optuna。
- 关键特征：搜索空间预先由人类定义（候选算法、超参范围、架构原语），优化目标是固定的验证集指标，人类完全掌控"改什么、怎么改、何为好"。
AutoResearch（自动科研）
两层含义（来源：Spillwave/ABIT/AI Experts Directory 对 Karpathy AutoResearch 的报道；Emergent Mind「AutoResearch: Autonomous Scientific Discovery」条目；ymshici.com 生态综述；GWAS Catalog AI Auto research 条目）：
-
狭义：Karpathy 的 AutoResearch 工具（2026-03-07 开源，MIT 协议，约 630 行 Python）：
- 让一个 AI agent 在单 GPU 上自主跑 ML 实验：初始化基线 PyTorch 仓库 + 目标指标（如验证困惑度）→ agent 检查代码库 → 提出结构化技术假设 → 修改代码 → 训练 → 评估 → 循环，无人工干预。
- 约 5 分钟/实验的时间预算，一夜约 100 个实验。
- 定位：改变"谁来做 AI 研究的体力活"------研究者写研究策略，agent 执行实验循环。
-
广义：AutoResearch 范式（AI 驱动的科研流程自动化）：
- 将科研全流程（文献调研、假设生成、实验设计、代码编写、结果分析、论文撰写、同行评审）中可自动化的环节交给 LLM agent / 多智能体系统。
- 代表系统：Sakana AI《The AI Scientist》（首个生成论文通过同行评审的全自主系统，ICLR 2025 ICBINB workshop；自动评审器平衡准确率约 69% 与人类评审相当）、AI Scientist-v2、Microsoft Co-Scientist、Ai2 的 CodeScientist、AutoResearchClaw、Weco AI 的 AIDE2 等。
- 局限（来源：知识库微信文章《AutoResearch：AI开始自己做研究了》）：纯 LLM Agent 在 HPO 等任务上不及经典算法；更适合目标明确、反馈快速、评价指标清晰的任务；人类转向问题定义、价值判断与结果责任。
- 生态定位：AutoML 自动化"建模环节"，AutoResearch 自动化"整个研究循环"。
RSI（Recursive Self-Improvement，递归自我改进）
定义（来源：edgechat.ai 引 Anthropic 定义；百度百科"递归式自我改进"；i3geek《RSI 还差那个 R》）：
- Anthropic 的定义：AI 系统能够完全自主地设计并开发自己的后继系统（given enough compute）。Anthropic 明确表示"这尚未发生，也非必然"。
- 严格标准（i3geek）：RSI 的 R 是 Recursive（递归）而非 Recurrent（循环）。两个必要条件：(1) 效果持续提升；(2) 提升方式必须是系统自己改进自己，且每一次改进让下一次改进更容易------负责改进的机制本身也要变强，形成复利式正反馈。
- 只反复优化（执行优化的可以是人/别的系统）= 循环，不是递归。大多数现有系统属于"有界自我精炼（bounded self-refinement）"。
- 理论根源：Turing 1950 "child-machine"、I.J. Good 1965 "intelligence explosion"、Schmidhuber 2003 Gödel Machine（自修改需形式证明有效才执行------实践上不可行，被 DGM 等以实证筛选取代）、Yampolskiy 2015 系统综述。
RSI 与 AutoResearch/AutoML 的关系（关键辨析）：
- 2607.07663 综述将"AI 参与自身改进"谱系分为四类改进对象（what）：部署时的行为（self-refine）→ 训练策略（self-play/self-train）→ 评估器（self-reward）→ 研究过程本身（AI 做 AI 研究）。RSI 是这条谱系的终点方向。
- AutoResearch 做"研究"，但研究对象不必是 AI 自己；当研究对象变成"如何改进 AI 自己"且改进闭环时，AutoResearch 就成为实现 RSI 的载体（如 AlphaEvolve 优化 Gemini 训练内核、Anthropic 用 Claude 研发 Claude）。
- AutoML 是最早落地的"用优化算法自动造模型"，搜索空间与目标函数由人固定；现代 RSI 系统在很多方面像"开放式 AutoML"------把 AutoML 的搜索循环推广到程序/agent/工作流空间，且开始尝试把"搜索策略本身"也纳入被改对象。
- 一句话谱系：AutoML（自动建模，人定一切）→ AutoResearch（自动科研循环，人定方向）→ RSI（自动改进"改进者"自身，追求闭环与自加速）。
两份关键综述 - 改什么、由谁验证、谁控制下一轮
综述 A：Chen 等人的"对象 × 闭环"地图
Chen、Wang 与 Qu 的《Recursive Self-Improvement in AI》梳理了 1,250 篇 2024--2026 年 arXiv 论文（871 篇种子、379 篇定向补充）。它用两轴给"self-refine / self-train / self-evolve"这些容易混用的词定位：横轴问改什么，纵轴问改进由谁验证并放行 。第二轴的正式表述是 degree of loop closure ，不是严格意义的"何时更新参数"；数据集还受检索词、定向补充与单人分类影响，篇数不宜当作领域占比。综述 A
| 改进对象（What） | 典型变化 | 读论文时要追问 |
|---|---|---|
| 部署期行为 | 当前答案、测试时权重、Agent 的 Harness／Skill／Memory | 只是这次答得更好，还是新版能力会影响以后任务？ |
| 训练期策略 | 自生成数据、奖励或轨迹更新权重 | 监督信号是否独立、质量会否随轮次下降？ |
| 评估器 | Judge、Verifier、Rubric、奖励模型 | "更好"的尺子也在变，如何避免自己给自己加分？ |
| 研究过程 | 选假设、做实验、发现算法与改研究策略 | 是否改善了以后发现和验证改进的程序？ |
闭环程度从人在环内 （逐项审改），到人在环上 （自动产生评测信号、人工审计或放行），再到全闭环 （系统自行提出、验证、应用）。因此，反复调用同一个改写 Prompt 不等于"递归"；反过来，一个经审核发布、供以后任务调用的新 Skill 已有持久改进，但仍不是开放式自主 RSI。综述把固定外部评测器下的有界自精炼 与连改进准则／机制也可改的开放式 RSI 分开。前者在明确目标上可工程化；后者还受真实世界锚定、坍缩与算力边界约束。综述 A
最重要的是验证层级。 形式验证器（对给定形式规范）→ 执行反馈／测试 → 学得的 Judge／奖励模型 → 模型自评、置信度与一致性；越往后越便宜、适用任务越宽，也越容易被利用。形式证明也只保证相对规范 正确，测试不能穷尽程序行为。作者观察到的"可展示的自改进强度随信号可靠性变化"是跨文献的定性观察，并非测得的定律 。若系统用自身偏好的答案训练自身评判器，容易出现自我确认；自生成数据反复回流可能导致模型或候选多样性坍缩。科研中的"哪个方向值得做"难以低成本地独立验证，仍是人类留在环内的核心瓶颈。综述 A
对工程师的提示是：每次宣称"自动进化"，都写清谁定义目标、谁给分、谁审计评分器、谁能回滚 。综述认为，足以审计一个循环究竟改进了什么、是否跨越了治理阈值的治理级测量 仍是明显空白。综述 A
综述 B：Duan 等人的 HCI 与自主权路线图
《The Last AI Built by Humans》先问"现有能力的缺口在哪里"，再问"循环中的哪些决策交给 AI"。HCI（Headroom-Closed Index）是能力进展指标，不是 RSI 级别或任务成功率 。对同一基准、可比协议，以该基准进入数据集那一年90 分位模型的分数 F₀ 为起点，HCI = 100 × (当前分数 − F₀)/(100 − F₀)；0 是入年基线，100 是满分，领域数字还聚合多个基准。2026 年的示例：高等数学 86.4 、研究生级科学 85.8 、网络安全 Agent 91.9 ；前沿学术广度 60.4 、法律推理 64.5 ；交互式软件工程 52.6 、搜索／终端 Agent 56.8 、工具 Agent 39.9 。这说明某些可验证题目进展快，长程、有状态、需工具的流程仍有较大缺口；网络安全的部分历史协议发生变化，跨领域数字也不能当成同一考试的分数。综述 B
| 层级 | AI 新获得的改进决策权 | 代表例子及固定边界 |
|---|---|---|
| B0 | 只修订当前答案，不让变化延续到下一任务 | "想一想再答"；没有继承版本 |
| L1 执行 | 按人规定的改进对象、方式、标准执行 | FineWeb-Edu 用模型处理教育质量标签；标准由人定义 |
| L2 选策略 | 在目标、评测固定时诊断问题并决定改法 | Self-Harness 读执行 Trace 改 Harness；基准和晋级规则固定 |
| L3 找经验 | 选择下一轮需采集、生成或练习什么 | SIMA 2 针对薄弱技能生成练习；任务与奖励框架仍受约束 |
| L4 适应环境 | 从部署反馈修订可继承的状态 | PANDO 接纳或降级可复用规则；治理与发布边界在外部 |
| L5 元改进 | 改写以后负责提案、搜索、验证或选优的机制，并在下一轮复用 | A-Evolve-Training 修订研究策略；底座、目标与受保护评测仍固定 |
级别描述的是控制权的范围 ，不是模型参数量、自动运行时长或"论文先进程度"。L3 问"去哪找经验"，L4 问"部署经验怎样沉淀"，L5 问"以后怎样改进 的方法能否被自身更新"。例如 DGM 会修改编码 Agent，却把档案维护和父节点选择保留在外层；它的任务分数提升不能直接证明搜索器变强。结构性 L5 只要求修改过的改进机制确实控制下一轮；有效性 L5 还要求在可比预算、独立测试中，比旧机制更稳定地产出好后继。作者认为目前公开证据支持若干有界元改进 ，尚不足以证明持续、统计可靠的有效 L5。综述 B
工业附表是按具体产品／研究工作 标注，不是"给整家公司评级"：同一家公司可有任务内 B0、工程 L1--L2、部署 L4 候选等不同工作；腾讯 AI Lab 的 R-Zero 在表中标为 L2--L3，因其 Challenger 会根据当前 Solver 的一致性调整出题，但这种信号只估计难度，不直接验证答案正确。把"某公司处于 L2"当成公司整体技术上限并不成立。综述 B
论文提出三个常见误判：安全继承 ，修改会留存也会把错误留存（所引 Gödel Agent 试验中，100 次 MGSM 优化有 14 次低于起点）；自主归因 ，候选更强可能只是底座模型或搜索预算更大；可靠验证 ，Agent 可能挑随机种子或从评测查询中套取标签。Red Queen Gödel Machine 的解法之一是在纪元内冻结评测器，只在切换时用独立真值锚点审核新评测器。工程上可以把可衡量、可继承、可迁移、可回滚 当作四道验收门槛；这是对文中测量、保持、迁移和安全讨论的工程归纳 ，不是论文给出的 RSI 充分必要定义。综述 B
四类场景的差异在反馈成本与可重置性：
| 场景与代表例 | 为什么进展速度不同 |
|---|---|
| 软件工程：SICA、DGM、Ouroboros | 编译、测试和审查反馈密集，但测试不能覆盖全部真实需求；改 Agent 与改目标仓库要分清。 |
| 科学发现：HypoForge | 假设质量难即时验证，实验反馈稀疏且因果归因难；复用科研 Skill 需要外部实验锚定。 |
| 具身：POET | 可演化环境与策略，但真实物理试验昂贵、难完全重置；许多实验依赖模拟器。 |
| 医疗：MedAgent-Zero | 可在模拟病例中复用诊断经验；真实临床更新仍需专家、指南和患者结果审核。 |
HCI 图中 2026 年以后的虚线是设定"关闭剩余差距的 78%"的示意推演，不是已测得的 RSI 增益 。综述 B
两份综述怎样合起来用
A 给对象和证据地图，B 给改进决策的自主权地图。 拿一个售后 Agent 的 Skill 优化举例：同一对话内重试是 B0；人定规则并让 Agent 执行修改是 L1；Agent 读 Trace 选改法、通过固定测试才发布，接近 L2；它主动选择下一批困难场景练习，可涉及 L3；线上经验在审核下变成可复用 Skill，接近 L4；若"怎样诊断、怎样提出 Skill 修订、怎样挑后继"的程序也被修订，并在后续任务验证增益，才进入 L5 的检验范围。无论是哪一级，都要先问 A 的验证问题：独立证据能否支撑"真的更好"？这只是概念映射 ，不据此给任何具体企业项目贴级别标签。综述 A 与 综述 B
补充视角。 Ren 等人 2026 年 7 月的综述用 (θ, Σ) 区分模型参数与 Agent 脚手架两条更新路径：SEAL 偏权重，DGM/MGM 偏脚手架，业务 Skill／Memory 偏脚手架。这个视角回答"改在系统哪一层"，与 A 的验证轴、B 的自主权轴互补，不能把三篇综述当成同一套 What/When/How 分类。Ren 等的补充综述