AI 辅助科研溯源闸门：输入·命令·决策·证据四类记录的失败含义与当天最小实验

千笔-AIWritePaper · https://www.aiwritepaper.com

Agent 能很快从原始表跑出一张宇宙学风格的斜率图，不等于结果可审查。缺了输入校验和，文件可以被静默替换；命令行事后改参，YAML 里仍写着旧参数；决策条目没有理由，人类无法判断为何选 3σ 而非 5σ；结论里的 0.042 若不链到证据条目，数字就悬空。AI 产出越快，这四类断裂越危险。

本文依据 UC OSPO Network 频道全校虚拟聚会 October 2026 All-Campus Meetup: Lightcone Research: AI-assisted science with rigor at its core （讲者 Francois Roussel、Liam 等，Berkeley BIDS / CNRS 合作语境，2026-10-01，约 58 分钟）整理。讲者关于 Astra 式 YAML schema、科学决策与理由、provenance 展示，以及在宇宙学研究上让 agent 复现可核验分析等论述均为视频口述，未经第三方核实 。实验部分是我构造的 5 步迷你分析与四道闸门故障注入（_w/science-provenance-gate/），不代表 Lightcone 产品本身。

图：上排为输入/命令/决策/证据；中排为金标准与四类故障；底部为 G1至G4 种植路径 FAIL。

目标说明

读完你应能独立完成四件事。

说清 YAML 溯源里输入、命令、决策、证据各记什么。
为 AI 辅助分析设置四道闸门，并写出失败含义。
在 5 步迷你管线上注入换文件、改参数、无理由、无证据链，观察闸门是否拦住。
当天跑完最小实验，把日志与 CSV 留下，禁止无证据链接的结论数字进正文。

视频要点：溯源优先于「逐字节重跑」（经验未经第三方核实）

开场由 UC OSPO / Berkeley 侧引入 Lightcone Research：在 AI 时代用 agentic 系统交付更严谨的科学，并强调 provenance 与 reproducibility。Francois Roussel（CNRS）与在 Berkeley 物理系的联合负责人 Liam 介绍项目背景：AI 正改变科研写作与共科学家（co-scientist）式多智能体闭环，任务复杂度上升后，更需要可审查的基础设施。

核心工程抓手是名为 Astra 的约定：在仓库里放一份 YAML，描述项目输入数据文件、输出（指标/图/数据）、用于再生结果的命令行 ，以及更关键的科学决策（例如是否标准化、选哪类分类器）与选择理由（可挂 prior insight）。人类可读层可用类 Markdown 插件弹出决策与 provenance 盒；演示中还提到输入目录哈希、agent 所做决策集合与证据。宇宙学方向上，他们讨论用该方法论让分析可复现、可检查。边界：schema 仍在演进，欢迎反馈；本篇闸门只钉「四类记录是否完整可对上」，不评价具体宇宙学科学结论。

记录类	视频描述	工程含义
输入	数据文件列入 YAML	须带校验和，防静默替换
命令	再生结果的命令行	须可重放，且与真实运行一致
决策	选项、选择与理由	rationale 不能空
证据	支撑决策/结果的链接	结论数字必须链到证据 id

失败含义：agent 跑通管线 ≠ 可发表的可审查科学；缺任一记录类，溯源在该处断裂。

四道闸门与失败含义

闸门	检查什么	失败含义
G1 输入校验和	输入是否记录 sha，且与磁盘一致	文件被换仍沿用旧结论编号
G2 命令可重放	声明命令是否等于实际运行	事后改参，无法按 YAML 重放
G3 决策含理由	每条科学决策是否有 rationale	人类无法审查 agent 选择
G4 结论链证据	结果数字/图是否挂 evidence_id	数字悬空，无法回溯

对应选题禁区：输入无校验和、命令不可重放、决策无理由、结论无证据链接。闸门只钉实验记录纪律，不扩展到投稿平台策略。

当天最小实验：5 步管线 + 四类故障

金标准：catalog_v1.csv 写入 sha256 前 16 位；五步 load→cuts→fit→metric→plot；决策含 σ 切与线性模型理由；results/metric.json 的 slope=0.042 链到 ev_metric_slope。种植故障后输出原样：

text 复制代码

G1  输入缺校验和/被替换  金标准对照  PASS recorded=8591ff83a46c36a8 disk=8591ff83a46c36a8
G1  输入缺校验和/被替换  缺校验和且静默替换  FAIL missing_checksum=True observed=b6630d57eb2101c2 gold_disk=8591ff83a46c36a8 drift=True
G2  命令不可重放/事后改参  金标准对照  PASS steps=5 replayable=True
G2  命令不可重放/事后改参  运行后改 sigma  FAIL declared='python pipeline/cuts.py --sigma 3.0 --out work/clean.parquet' actual='python pipeline/cuts.py --sigma 5.0 --out work/clean.parquet' mismatch=True
G3  决策缺理由  金标准对照  PASS decisions=2 all_have_rationale=True
G3  决策缺理由  决策条目无 rationale  FAIL missing_rationale_ids=['dec_sigma', 'dec_model']
G4  结论无证据链接  金标准对照  PASS outputs_linked=True evidence_ids=['ev_metric_slope', 'ev_prior_cut']
G4  结论无证据链接  结果数字无 evidence_id  FAIL conclusion_slope=0.042 evidence_id=None claim_has_number=True
合计检查=8 FAIL=4 PASS=4 管线步骤=5
闸门终裁: 输入须带校验和 | 命令须可重放且与运行一致 | 决策须含理由 | 结论须链到证据 | 讲者 Astra/YAML 溯源经验未经本脚本核实

逐条读法：

G1：缺校验和且运行期观测哈希与金标准磁盘不一致（静默替换）→ FAIL；金标准哈希对齐 → PASS。
G2：YAML 仍写 --sigma 3.0，实际运行改成 5.0 → FAIL；五步声明可重放 → PASS。
G3：dec_sigma/dec_model 的 rationale 被清空 → FAIL；金标准两条均有理由 → PASS。
G4：正文声称 slope=0.042 但 evidence_id=None → FAIL；输出表链接证据 → PASS。

与讲者边界同向：要让 agent 产出可核验，必须把输入、命令、决策理由与证据链接写成一等公民，而不是事后补叙事。

选型终裁表（可抄走）

能力宣传	是否采纳	人类必做	失败含义
agent 自动跑完分析	可作加速	核对四类 YAML 记录	无溯源的快速结果
无哈希输入也算可重复	不采纳	写入并核对 sha	静默换文件
事后改参仍用旧 YAML	不采纳	运行日志≡声明命令	不可重放
决策列表无理由	不采纳	逐条补 rationale	无法科学审查
结论数字无证据 id	不采纳	强制 evidence_id	数字悬空

常见误判

「代码在仓库里就够了」：G2 表明声明与实跑不一致时，代码存在也不可重放。
「决策很显然不必写理由」：G3 专拦空 rationale。
「图上有数就是证据」：G4 要求显式 evidence 链接，不承认悬空数字。
「换文件但结论差不多」：G1 在哈希层直接 FAIL，不讨论数值是否接近。

验收清单

每个输入文件有校验和，CI 比对磁盘。
每步命令可复制重放；运行日志与 YAML 一致。
每条科学决策有选项、选择与 rationale。
正文/图中的关键数字挂 evidence_id。
CI 跑 science_provenance_gate.py，四类种植保持 FAIL，对照保持 PASS。

验收清单

输入文件 sha 写入 provenance，CI 比对磁盘。
五步（或等价）命令可复制；运行日志与声明一致。
每条科学决策含选项、选择与 rationale。
结果数字与图挂 evidence_id，并可打开链接目标。
CI 跑 science_provenance_gate.py，种植 FAIL、对照 PASS 可复现。

最小 YAML 字段（可抄）

输入：path + sha256_16。命令：step + cmdline。决策：id + choice + rationale + evidence_ids。证据：id + claim + links。输出：path + evidence_id。缺字段即对应闸门红灯。字段名可按 Astra 演进替换，门禁语义保持不变。

协作时谁写哪一列

数据负责人锁输入哈希；分析负责人锁命令行；领域负责人写决策理由；稿件作者只引用已链接证据的数字。agent 可以起草 YAML，但四类记录的签字仍是人。合并前跑闸门，禁止「先发图后补 provenance」。

当天 30 分钟落地

5 分钟：为当前项目复制 prov/astra_gold.yaml 骨架，填输入路径。
10 分钟：录五步命令与两条决策理由。
10 分钟：注入/加载 faults 夹具，跑四闸门脚本。
5 分钟：把失败含义贴进 SOP，开真下一次 agent 分析前先过 G1至G4。

跑闸门前确认 data/catalog_v1.csv 与 prov/astra_gold.json 同仓库：缺文件应报错。把 smoke_output.txt 与 CSV 一并归档，换机器后做哈希级对照。

踩坑

只存最终图，不存输入哈希。
交互改参后不更新 YAML。
用「默认设置」四个字代替 rationale。
把模型口头「看起来合理」写进结论当证据。
多 agent 并行改同一 provenance 文件无锁。

伪成功 provenance 怎么对照金标准

对照时先固定金标准：输入哈希、五步命令原文、带 rationale 的决策、带 evidence_id 的输出。伪成功侧故意做出「看起来完整」的 YAML：文件名没变但字节被换且无校验和；声明仍写 σ=3.0，实跑改成 5.0；决策列表在，理由字符串为空；论文句有 slope=0.042 却不挂证据 id。验收脚本只做文件级检查，不调用真实宇宙学软件。这样设计是为了让闸门讨论可复现：换 agent 平台时换夹具即可，人类必做列不变。

实践上建议把终裁拆成三道门。第一道：开跑前输入哈希是否写入。第二道：跑完后声明命令是否等于运行日志。第三道：决策理由与证据链接是否齐全。三道都过，才允许把指标写进结果段。任何一道失败，输出退回草稿区，禁止用「agent 已跑通」作结案理由。

与自驱动闭环闸门如何分工

自驱动科学闭环闸门盯假设版本、判别阈与失败轮日志；本篇盯 YAML 四类溯源记录。两者可连用：闭环负责「轮次是否诚实」，溯源负责「输入/命令/决策/证据是否可审查」。夹具目录分开，避免一篇文章混用两套禁区叙事。

闭环编号与改规则的边界

允许改 σ 切或模型选择，但不允许偷换记录。若必须改命令参数或决策，应新开 provenance 版本号，把旧 YAML 冻结为只读，并在新文件写明「继承自哪一版、变更了哪一步」。旧运行的输入哈希与命令日志仍保留，不得回写为「从未改过」。迷你实验里 G2 与 G1 专拦后一种行为：同一项目编号下改参或换文件却不更新记录，一律 FAIL。

失败含义速查

闸门	失败含义	下一步
G1	输入身份不确定	补 sha，拒收无哈希运行
G2	无法按声明重放	对齐运行日志或开新版本
G3	决策不可审查	补 rationale 与选项
G4	数字无法回溯	挂 evidence_id 后再写正文

若把 provenance 导出为人类可读报告，报告中的数字也必须带来源 id，避免「报告层」再次悬空。脚本闸门通过后，再生成报告，而不是先写漂亮报告后补 YAML。团队可将四闸门勾进 PR 模板：缺校验和、命令漂移、空理由、无证据链任一项红灯即不得合并结果段。

总结

AI 辅助科研要站得住，需要把输入、命令、科学决策与证据写成可检查记录。四道闸门分别拦住无校验和换文件、事后改参、决策无理由、结论无证据链。5 步迷你实验里，四类种植全部 FAIL，四条对照 PASS。选型终裁应写清人类必做与失败含义，并在换 agent 平台时复跑同一脚本。讲者关于 Astra/YAML 溯源与可核验复现的方向，与本实验闸门同向，但其宇宙学细节与产品能力未经本脚本核实。

溯源闸门日志与禁区归档可用千笔-AIWritePaper 整理；分层骨架与脚本不依赖产品名。