26年10月,论文"DiscoveryRSI: Recursively Learning to Discover Valuable Hypotheses",来自PhAI Labs、香港中文大学、密歇根大学、新加坡国立大学、复旦大学、北京大学人民医院、北京大学、斯坦福大学、香港科技大学、加州大学圣塔芭芭拉分校、东南大学、哈佛医学院、圣保罗联邦大学、伊利诺伊大学厄巴纳-香槟分校 (UIUC)、麻省理工学院 、牛津大学和普林斯顿大学。
DiscoveryRSI 的核心思想是:把"提出假设---查证---批评---修订"的科研过程保存为可追溯的经验,再用这些经验同时改进模型和研究工作流。 论文最有说服力的结果是提高了研究方案的可检验性;对于能否持续产生更重要、更新颖且经实验验证的发现,证据仍有限。
一、DiscoveryRSI 方法如何运作
1. 把"科研假设"定义成一个完整的研究对象
论文将假设表示为:
H=(c,pi,d,a)
其中,c 是有证据依据的科学主张,pi 是调查或实验方案,d 是预先声明的判定标准,a是替代解释。
例如,"某指标能预测 ICU 出院后风险"还不够完整;还需说明研究人群、预测窗口、基线模型、数据划分、什么结果算支持,以及疾病严重程度等混杂因素如何处理。
这个定义把两项要求联系起来:"有价值"意味着解决该问题能改变认识或研究决策;"可检验"意味着在既定数据与资源约束下,结果能够支持、削弱或限定主张。它并不要求假设最终被证实,信息充分的阴性结果也可能有价值。(第 2 节)
2. 通过多智能体搜索,发展出可追溯的假设图
系统中的角色分工包括:
| 角色 | 主要职责 |
|---|---|
| Lead | 选择方向、父假设、操作与研究资源分配 |
| Generation | 提出新假设 |
| Evolution | 推进或修复已有假设 |
| Critique | 匿名比较假设的科学质量 |
| Progress | 对照真实前序版本,判断是否取得实质进展 |
| Compiler | 将选中的计算研究方案转为可执行任务 |
搜索有四种操作:深化、修复、交叉组合、重新开始。因为交叉组合允许多个父节点,所谓"研究树"实际上可以是有向无环图。
系统同时保存文献、数据、草稿、代码或结果、评审、贡献者和执行记录。假设的演化关系与智能体的行动轨迹分开记录,从而能追问:某项改进来自哪次查证、哪个对照设计、哪个协调决定。(第 3.1 节、附录 A)
3. 将研究方案编译为 Harbor 任务
选中的计算研究被整理为包含输入、运行环境、输出要求和验证检查的 Harbor 任务,并保留原假设的人群、比较方式与结果解释标准。
这里有一个关键边界:通过计算检查只能说明任务满足执行要求,不能证明科学主张成立。无法获得的数据与湿实验仍作为待满足的依赖项。(第 3.2 节)
4. 用"假设贡献分配"训练模型
这是方法中最核心的学习机制,分为三步。
- 先评估假设。 根据匿名成对比较,用 TrueSkill 估计相对质量及不确定性;再结合比较覆盖、有效性和修订进展,生成有上限的训练权重。TrueSkill 衡量的是评审标准下的相对偏好,不能解释为假设为真的概率。
- 再分配给有记录的贡献轨迹。 权重分给实际产出、提供支持或完成协调的智能体调用。仅出现在祖先节点或参与同一轮研究,并不会自动获得贡献分。
- 最后只模仿有证据支持的行动。 训练目标包括相关助手输出和工具调用参数;工具返回与已知失败行动可作为上下文,但不直接计算训练损失。
其目标本质上是带贡献权重、按轨迹归一化的监督微调:

同时通过去重、同一科学问题的总额度和单轨迹上限,限制反复注册相近假设带来的重复奖励。因此,它更接近基于科研过程证据的加权行为模仿。(第 3.3 节、附录 B--C)
5. 改进工作流,再开展新研究
另一个分支是 Harness Replay:固定模型,分析重复探索、工具失败、交接丢失和过早结束等问题,提出协调、证据访问与检查机制的修改。
模型与工作流候选分别、联合接受开发集检验;可以更新其中之一、两者都更新,或都保留原状。通过的系统再研究新问题,产生下一轮学习材料,这一步称为 Rediscovery。(第 3.4--3.5 节)
如图所示DiscoveryRSI 将多智能体假设构建与递归自我改进(Recursive Self-Improvement, RSI)相结合。(a) 在单次迭代(episode)的多智体搜索中,由"主导者"(Lead)负责协调"生成"与"演化"环节;对候选假设版本进行评估,并记录进展。被选中的假设会被汇编成"Harbor 任务",其中关联了证据、数据、草稿、产出物、评估结果、贡献记录及执行日志。(b) 研究树(Research trees)在多轮 RSI 迭代中传递假设:记录的状态 H_t 进入 RSI 流程,进而生成更新后的参数(theta_{k+1}, psi_{k+1})以及用于进一步探索的新问题。(c) 即RSI步,两个更新分支基于同一经验进行学习:假设信用优化(hypothesis credit optimization)将评估结果和贡献记录转化为加权训练;而"执行回放"(harness replay)则在模型参数固定的前提下,诊断反复出现的失败案例,并测试针对性的工作流程调整。在进入第 k+1 轮之前,所有采纳的更新都会先在开发集(development set)上进行验证。

二、论文的主要贡献
- 把科研过程变成可学习的数据。
贡献在于连接了假设质量、版本历史、具体贡献和训练目标,使模型能够从研究如何被推进中学习。 - 把主张与检验方案绑定。
对判定标准和替代解释的显式要求,有助于减少"听起来合理但无法判定"的提案,也承认阴性与不确定结果的科学价值。 - 同时学习模型能力与研究组织方式。
参数更新处理模型行为,工作流更新处理协调与执行问题;两者在统一循环中接受验证。 - 提出更完整的过程评估框架 DFM-Bench。
它分别评估单个假设、一次修订、发展路径、整轮研究和科学贡献,并将科学质量与执行成熟度分开,避免把"代码跑通"当作"发现成立"。 - 展示了研究设计能力的实际改善。
在四个生命科学领域、241 个研究问题上,两轮改进后的自动总分由 4.86 升至 5.39。主要变化如下,评分范围为 1--10:
| 维度 | 基础模型 | 第二轮 |
|---|---|---|
| 可证伪性 | 4.00 | 6.20 |
| 替代解释 | 4.44 | 5.98 |
| 数据可判定性 | 3.73 | 4.99 |
| 可行性 | 4.79 | 5.87 |
| 重要性 | 6.48 | 6.04 |
| 新颖性 | 4.87 | 4.58 |
这支持"更善于设计可检验研究"的结论。人工评审也提供了补充证据:DiscoveryRSI 的修订有 41% 得分提高、12% 降低,平均每步增加 0.07 分。(图 6、图 8)
三、主要不足与证据边界
1. 尚未完成从假设到实证发现的闭环。
论文明确指出,当前主要达到具体假设与编译后的研究方案阶段。缺少系统性的完整研究执行、独立复现与湿实验验证,因此还无法据此判断真正的发现成功率。(第 9 节)
2. 改善了可检验性,也出现探索收缩的迹象。
深化与修复的比例由 77.5% 升至 91.7%,而重要性、新颖性及跨学科联系评分下降。我的判断是,这提示系统可能更擅长在现有方向内完善方案,但是否更善于找到值得研究的新方向仍未解决。停止决策和预算效率的改善也很小。(第 7.1--7.2 节)
3. 自动评估仍依赖相关的 AI 判断。
三种评审角色来自同一模型家族的不同提示,并非三个独立专家;评分权重也属于人为制定的协议。附录明确承认,独立人工校准仍待完成。因此,分数提高有可能部分反映对评审偏好的适应,其与真实科学价值的关系还需验证。(附录 D)
4. 人工结果并不支持全面领先。
27 位参与者评估了 292 份提案,包含医生、医学生和生物科学博士生。在与 GPT-6 Luna 的比较中,DiscoveryRSI 的重要性与证据边界评分更高,但数据适配、替代解释和结果信息量更低,新颖性相关评分相同。修订之间又共享祖先,不能视为完全独立样本。(第 5 节、图 8、附录 E)
5. 贡献分配是可审计的启发式规则,尚非因果归因。
例如,协调者预留 20%,产出和支持者分享其余部分。这些比例能明确责任与出处,却不能确定某个行动究竟造成了多少质量提升。论文也承认,不确定性惩罚、覆盖修正等组件的独立作用仍需消融实验。现有证据不足以拆清贡献加权、数据筛选、普通微调和工作流修改分别贡献了多少增益。(附录 B)
6. "6.3% 启发后续研究率"应谨慎解释。
它表示 74/1,176 个假设版本与截止日期之后的文献存在可操作的联系,不能证明那些论文作者看过或采用了模型假设。跨模型比较还受到领域构成、时间窗口、重复版本和检索覆盖影响。
一个直接例子是:Claude 与 DiscoveryRSI 在成功检索后的正例比例很接近,分别为 20.0% 和 20.8%;Claude 的整体低值部分来自长提案被截断后的检索损失。因此,这项结果不足以确立模型间的科学发现能力排名。(第 7.4 节、附录 F)
7. 长期自我改进与跨领域泛化尚未充分验证。
主要改进实验只有两轮,增量从 0.32 降为 0.21。电池领域补充实验展示了可迁移性,但缺少足够的对照来证明递归学习本身带来了跨领域收益;其 351 个假设中仅 165 个具有完整质量评分,也需关注缺失评估的影响。
它提出一套有价值的"从科研过程学习"的系统方法,并初步证明能改善研究方案设计;更强的科学发现能力与可持续递归改进,仍需要独立评估、组件消融和前瞻性实验来确立。