文章目录
- [1 -> 引言](#1 -> 引言)
- [2 -> 近期案例说明了什么，又没有说明什么](#2 -> 近期案例说明了什么，又没有说明什么)
- [3 -> 假设需要能被反驳，才有验证价值](#3 -> 假设需要能被反驳，才有验证价值)
- [4 -> 当假设成百上千地产生，偶然结果也会增加](#4 -> 当假设成百上千地产生，偶然结果也会增加)
- [5 -> 搜索可以开放，验证应该独立](#5 -> 搜索可以开放，验证应该独立)
- [6 -> 让 AI 参与研究，最需要保存什么](#6 -> 让 AI 参与研究，最需要保存什么)
- [7 -> 怎样把这种方法用于日常技术工作](#7 -> 怎样把这种方法用于日常技术工作)
1 -> 引言
AI 能在短时间里提出很多解释。给它一组异常数据，它可以列出可能原因；给它一个研究领域，它可以生成候选方向。难点随之改变：当"想出一个说法"变得便宜，怎样判断哪个说法值得相信，哪个说法值得花时间验证？
这个问题不只属于实验室。产品分析、业务预测、故障排查同样会遇到。模型看到转化率下降，可能提出十种原因；研究人员观察到某种模式，也可能得到几十个看起来合理的机制。解释数量增加，并不自动意味着知识增加。
AI 科研值得关注，正因为它把这种矛盾放大了。计算系统可以扩大搜索范围，但一个候选发现仍然需要来源核对、反例分析和独立验证。把这些环节区分清楚，才能既看到新能力，也避免把研究线索写成已经证实的结论。
2 -> 近期案例说明了什么，又没有说明什么
2026 年 9 月，Anthropic 公布了 Claude 辅助识别一种新酶系统线索的研究。根据官方介绍，AI 参与数据搜索、候选分析与报告，研究人员进行实验室工作；相关系统的主要功能仍在继续研究。
这个案例的价值，在于展示了 AI 如何从大量未充分解释的数据中找到值得跟进的模式。它不能被简化成"AI 已经独立完成全部科研"，也不能因为某些结构特征类似已知系统，就直接推断具有相同用途。
理解科研新闻时，可以先问三个问题：发现的是一种现象、一种关联，还是已经明确的机制？证据来自模型计算、已有数据，还是独立实验？结论目前属于公开初步结果、预印本，还是已经经过进一步检验的研究？
这些区分会影响应该使用什么措辞。"发现值得研究的候选系统""实验支持某个特征""已经证明一种应用有效"，对应不同证据强度。把它们写成同一句"重大突破"，会让读者误解研究进度。
本文接下来讨论通用的研究方法，不涉及具体生物实验步骤。我们用统计与数据分析示例，说明 AI 生成假设后还缺少哪些工作。
3 -> 假设需要能被反驳，才有验证价值
"可能存在一种复杂机制"几乎适用于任何未知现象，但很难检验。更有用的假设应说明：在什么条件下，预期观察到什么；如果观察不到，或者出现相反结果，我们会怎样修改判断。
例如，在软件性能排查中，"系统最近变慢了，因为负载很高"只是一个候选解释。若把它写成"在相同请求类型和数据规模下，队列长度增加时尾部延迟应同步上升；如果队列很短仍然变慢，则需要寻找其他原因"，就更接近可验证的假设。
还要给出替代解释。延迟升高可能来自请求组成变化、缓存命中下降、远程依赖变慢，也可能只是测量口径变化。只搜集支持第一种解释的证据，会把研究变成自我确认。
AI 很适合帮助列出这些替代路径，但不能把它生成的"支持证据"直接当作事实。每条证据都应该对应可检查的数据、文献或观察记录。无法找到来源的内容，应保留为猜测。
一种简洁的假设登记表就能让讨论更清楚：
| 字段 | 需要回答的问题 |
|---|---|
| 假设 | 具体主张是什么 |
| 来源 | 哪批数据或哪条观察引出了它 |
| 可检验预测 | 如果成立，下一步应该观察到什么 |
| 替代解释 | 还有哪些机制也能解释现象 |
| 反证条件 | 什么结果会让我们降低信心 |
| 当前状态 | 待检查、已排除、需新数据、进入验证 |
登记表的意义不是增加管理工作，而是防止语言流畅度代替证据。每次模型改写报告时，原来标注为"待验证"的假设都不应该悄悄变成确定事实。
4 -> 当假设成百上千地产生，偶然结果也会增加
假设在所有候选解释都不成立的情况下，我们仍对每个假设使用 5% 的显著性阈值做检验。单个检验看起来不算宽松，但检验数量一多，至少出现一次误报的概率就会上升。
如果 20 个检验相互独立，而且每个检验在零假设下都满足相应统计条件，至少出现一次误报的概率为：
text
1 - (1 - 0.05)^20 ≈ 64.2%这不表示某个显著结果有 64.2% 的概率是假的，也不表示任何实际 AI 科研项目的误报率就是这个数字。它描述的是一组特定假设下，整批检验至少出现一次假阳性的概率。
模型能提出更多候选解释，意味着我们更需要记录"到底试过多少条路线"，而不是只展示最后看起来有效的那一条。不断换指标、换样本、换时间窗口，直到出现一个好看的结果，也属于需要警惕的选择过程。
下面用均匀分布模拟所有零假设均成立时的理想 p 值，比较不做调整与 Bonferroni 调整的情况。它是统计机制演示，不是在生成真实实验的 p 值。Python 3.10 及以上版本即可运行。
python
from random import Random
rng = Random(20260927)
experiments = 10000
hypotheses = 20
alpha = 0.05
raw_any = 0
adjusted_any = 0
raw_total = 0
for _ in range(experiments):
p_values = [rng.random() for _ in range(hypotheses)]
raw_count = sum(p < alpha for p in p_values)
adjusted_count = sum(p < alpha / hypotheses for p in p_values)
raw_any += int(raw_count > 0)
adjusted_any += int(adjusted_count > 0)
raw_total += raw_count
theoretical = 1 - (1 - alpha) ** hypotheses
print("theoretical P(at least one false positive):", round(theoretical, 4))
print("simulated, unadjusted:", round(raw_any / experiments, 4))
print("simulated, Bonferroni:", round(adjusted_any / experiments, 4))
print("mean false positives without adjustment:", round(raw_total / experiments, 4))
assert adjusted_any <= raw_any
assert abs(raw_any / experiments - theoretical) < 0.03Bonferroni 方法通过收紧每个检验的阈值控制整体误报风险，相关基本思想可参考 NIST 统计手册。它并非所有任务中的最佳方案，可能较保守；采用哪种多重比较方法，应结合研究目标与统计设计。
更重要的是，校正不能修复错误的数据、事后选择的终点、无效的检验假设或持续偷看结果造成的问题。模型给出的"我有 95% 把握"，也不是统计意义上的 p 值，不能直接拿来参与显著性检验。
5 -> 搜索可以开放，验证应该独立
探索阶段允许快速试错。可以让 AI 检索资料、整理相似案例、检查异常模式，甚至提出互相竞争的解释。但进入验证阶段后，应当冻结需要检验的主张、数据处理规则和成功条件。
独立验证的含义，是验证材料不能被无节制地用来引导前面的搜索。若每次看完测试结果都修改假设，然后继续在同一批数据上宣布成功，所谓测试集已经变成训练材料。
在实际研究中，独立性可以来自新采集的数据、不同批次、不同来源，或者新的实验条件。但"换一份文件名"不等于独立样本。同一数据的重复下载、同一来源的转述、同一批对象的相邻记录，仍可能共享同一种偏差。
对于观察性数据，还要区分关联与因果。两个变量一起变化，可能由第三个因素驱动。模型能够提出听起来合理的机制，不代表已经排除了混杂。需要怎样的对照或干预，应由具备领域知识的人决定。
6 -> 让 AI 参与研究，最需要保存什么
与其只保留最终报告，不如保存一份简洁的证据链：数据来自哪里，使用哪个版本，如何筛选候选，运行了哪些代码，哪些假设被排除，剩余不确定性是什么。
对文献分析来说，引用必须真正支持对应主张。一个网页提到某种方法，并不代表它证明了方法有效。模型尤其容易把"作者提出""实验观察""独立确认"混为一谈，审查时应该逐条核对关键语句。
对计算实验来说，要记录输入、依赖版本、随机种子和评估方式。随机种子有助于复现部分过程，但不保证所有硬件和库版本产生完全相同的结果。数据分布与预处理变化，通常比小数点后几位是否一致更值得关注。
负结果也应该留下。某条路线没有通过验证，并不代表这段工作没有价值。它可能排除了一个常见解释，也可能暴露数据质量问题。若只保存成功案例，下一次 AI 很可能重复建议同一条已经失败的路线。
模型评审可以辅助发现遗漏，却不构成自动的独立证明。两个模型可能共享类似训练信息，也可能都被同一份错误材料误导。重要结论需要不同来源或不同方法的证据，而不是仅仅增加同意的模型数量。
还需要区分"多个来源"与"多份转述"。三篇文章如果都引用同一份未经验证的报告，并不会形成三条独立证据。核对引用链、原始数据和研究方法，比统计有多少网页表示赞同更重要。AI 自动整理文献时，尤其应该保留这种来源关系。
研究中的信心也应该能够下降。新证据与原假设冲突时，报告应记录冲突，而不是不断增加补充解释使它永远无法被反驳。能够说明一条路线为什么暂时不值得继续，和提出一条新路线一样，都是有效的研究产出。
7 -> 怎样把这种方法用于日常技术工作
不做科研，也可以使用同样的结构。发现接口耗时增加时，让 AI 提出候选原因、列出每个原因对应的日志证据和排除条件；发现业务指标变化时，先检查统计口径和样本组成，再讨论解释；比较新技术时，先写评估协议，再看结果。
一个小团队完全可以从很轻的流程开始：每次记录一个问题、两三个竞争假设、一份固定数据和一个判断标准。需要人的地方，通常不是生成更多理由，而是确定哪个问题值得验证，以及什么证据足以改变行动。
对于涉及健康、重大安全或其他高影响领域的研究，模型更不能跳过专业审查。工具权限、数据使用范围和实验边界都需要由实际机构与专业人员控制，不能因为 AI 建议执行，就自动获得正当性。
AI 扩大了探索空间，也提高了验证纪律的重要性。真正的进展，不是报告里出现更多自信的结论，而是我们能够更快找到值得研究的问题，同时仍然知道哪些已经得到支持，哪些只是暂时合理的猜测。
感谢各位大佬支持！！！
互三啦！！！