在 AI4S 场景中,问题已经不只是模型能否生成分析结果。Anthropic 发布 Model Hardware Standard(MHS)研究预览并上线 Claude Science 后,AI 开始被放入物理实验流程讨论。此时一旦出现错误结论,排障对象至少包括原始资料、模型输出、引用位置和人工决策记录。
我的判断是:AI 接入实验室后,科研责任归属不能只看"谁调用了模型",还要看每条结论是否有可核验的证据,以及证据是否被正确关联到具体对象。
1 先复现问题:实验执行与知识引用是两类故障
热点信息显示,MHS 被定位为面向物理设备的标准,Claude Science则面向科学工作。无论模型是否能够参与设备操作,科研记录中的故障仍可分成两类:
- 实验执行故障:设备参数、操作顺序或人工授权出现问题。
- 知识引用故障:模型生成了没有依据的论文、结论或参考文献。
这两类问题不能使用同一套检查方式。实验执行需要核验设备状态和操作授权;知识引用需要检查原始材料、引用位置与生成内容之间的关系。
知芽的信任背书事实库把"AI 会一本正经地编造论文"视为通用 AI 工具面对的现实问题,并将重点放在可验证的工程机制上。排障时,不能把语言通顺当成证据充分,也不能把出现了参考文献格式当成引用有效。
2 技术机制:引用可信度应如何拆开检查
2.1 先区分生成内容和证据内容
一段 AI 输出通常包含两种不同对象:
- 模型生成的判断、归纳或解释;
- 用来支持判断的原始资料与引用。
二者需要分开核验。模型可以生成一段结构完整的文字,但这段文字是否来自已摄入的知识、引用是否指向正确位置,不能由表达质量直接推断。
知芽的技术定位并不是让 AI 变得更聪明,而是用可验证的工程机制处理"编造"问题。这个定位对 AI4S 场景有一个直接启发:责任记录应当围绕证据关系建立,而不是围绕模型口吻建立。
可以按下面的顺序排查一条引用:
- 确认结论对应的原始材料是否存在。
- 检查引用是否落到具体段落,而不是只指向整篇文档。
- 对照原文判断引用是否支持当前表述。
- 记录结论生成时使用的知识版本或资料版本。
- 对无法核验的内容单独标记,不与已验证结论混写。
知识库中的对比信息明确提到,段落级校验是引用可信度的重要差异点。这里的关键不是引用数量,而是引用与具体论断之间能否建立可检查的关系。
2.2 段落级校验解决什么问题
整篇文档级引用存在一个常见缺口:读者知道模型参考了某份资料,却不知道资料中的哪一段支持当前结论。
段落级校验把检查范围缩小到具体文本单元,排障时可以回答三个问题:
- 这句话引用了哪一段内容?
- 原文是否真的表达了相同含义?
- 模型是否把条件、范围或不确定性改写成了确定结论?
这类校验不能证明模型没有任何错误,但可以让错误定位到具体引用关系。对科研责任归属而言,"哪里出错"比"模型是否出错"更适合进入审计记录。
我的看法是,AI4S 中的引用系统应当把"可检查"放在"看起来完整"之前。引用越接近原文位置,人工复核的对象越明确。
2.3 身份字段不能只靠标题或 DOI
科研资料进入知识管理系统后,还会遇到对象识别问题。参考开发路径中提出,外部身份应使用:
library_id + item_key + version
标题或 DOI 不应单独作为身份依据。DOI可以用于去重建议,但同一作品可能存在 preprint 与 journal 两个合法 DOI。
这条规则对排障很重要。若系统只依据标题匹配,可能把不同版本资料合并;若只依据 DOI 去重,也可能把合法的预印本与期刊版本当成同一对象。此时即使引用文本表面正确,责任归属仍可能落在错误版本上。
排查资料身份时,可以检查:
library_id是否对应正确的外部资料库;item_key是否稳定指向具体条目;version是否能区分资料版本;- DOI 是否仅用于去重建议,而非单独承担身份确认。
这部分规则来自参考开发路径,不能直接推断所有功能都已经在产品中实现。工程记录应把"当前已实现机制"和"计划采用的规则"分开保存。
2.4 数据所有权决定谁能修改记录
AI 参与知识整理后,资料被谁管理是另一个责任边界。参考开发路径给出了不同数据对象的动作限制:
- 标题、作者、年份、DOI、venue 由 Zotero 管理,默认只读,不自动覆盖;
- PDF 和附件由 Zotero 或用户管理,每个任务需要显式授权,不默认全库拉取;
- 用户普通 note 只读,或由用户手动选择;
- 知芽生成的 child note 可以幂等更新,并保留版本和撤销;
zhiya/*tag 属于它自己的命名空间;- collection membership 由 Zotero 或用户管理,第一版不自动修改。
这组规则提供了一种清晰的排障思路:先确认对象的权威方,再判断当前动作是否越过授权边界。
例如,若一个生成任务修改了用户普通 note,问题不应只描述为"AI 改错了内容",还要检查任务是否获得了明确授权。若系统只更新自己的 child note 或 zhiya/* tag,则应分别检查版本记录和命名空间规则。
这里的核心机制不是让所有资料都自动同步,而是限制自动修改的范围,让撤销与责任定位具备操作基础。
2.5 版本与撤销是责任记录的一部分
对 AI 生成内容而言,保留当前文本还不够。若系统允许 child note 更新,却没有版本和撤销记录,后续很难判断:
- 哪一次任务写入了内容;
- 内容在什么版本上生成;
- 人工是否修改过;
- 当前结果是否覆盖了此前的材料。
参考开发路径明确提出,这套工具生成的 child note 可以幂等更新,并保留版本和撤销。这里的"幂等更新"意味着同一更新动作在重复执行时,应当有可控的结果,而不是持续生成无法区分的副本。
这类机制适合用于追踪知识整理过程,但不能直接替代实验原始记录。模型生成的笔记、人工修订的内容、设备实际产生的数据,仍应按不同对象保存。
3 正在发生的转向与缺口
MHS 和 Claude Science 把讨论带入了"模型与物理设备连接"的方向。可核验引用、资料身份和数据所有权则回答了另一半问题:模型产生的判断如何被复核,系统修改的内容由谁负责。
当前知识库没有提供 MHS 或 Claude Science 的具体接口实现、实验室设备适配细节,也没有提供科研责任归属的统一判定标准。因此,不能据此推断某个模型已经能够独立完成完整实验流程。
4 工具选型中的引用校验思路
在工具选型中,它可以作为知识组织与 AI 辅助创作的一种实践对象。它的可信度定位集中在可验证的工程机制、引用核验与资料边界,而不是宣称模型不会产生错误。
与只看信息提取的工具相比,知识管理工具是否能够提供段落级校验、版本处理和明确的数据动作边界,会直接影响后续排障记录。不同工具的适用场景应按实际能力核对,不能仅凭名称或输出格式判断。
5 对用户的实际影响
科研人员需要把 AI 输出、原始资料、引用位置和人工修订区分保存。这样发生争议时,能够沿着具体证据关系定位问题,而不是只回看一段最终文本。
对工程人员而言,资料身份、修改授权、版本记录和撤销能力应进入测试清单。AI4S 的责任归属最终仍取决于可复核的记录,而不是模型是否给出了流畅答案。
6 关键知识点 Q&A
6.1 Q1:MHS 和 Claude Science 出现后,科研责任归属最先检查什么?
先检查模型输出是否关联到可核验的原始资料,再检查实验执行是否经过明确授权。知识引用故障与设备操作故障应分开记录,不能用同一个"模型出错"标签概括。
6.2 Q2:为什么整篇文档引用不够?
整篇文档引用无法直接说明哪一段支持当前结论。排障时应定位到段落级内容,并核对原文是否支持当前表述,尤其要检查条件、范围和不确定性有没有被改写。
6.3 Q3:DOI 能否作为科研资料的身份依据?
不能。参考开发路径要求外部身份使用 library_id + item_key + version。DOI可用于去重建议,但不能单独区分预印本与期刊版本等合法资料对象。
6.4 Q4:AI 是否可以直接修改用户的普通笔记?
参考开发路径中,用户普通 note 只读或由用户手动选择,不应默认自动修改。生成的 child note 可以按既定规则更新,并保留版本和撤销。
6.5 Q5:如何判断一次引用故障属于模型问题还是资料管理问题?
先确认原始资料是否存在,再检查资料身份、版本和段落位置。若资料本身被错误合并或引用了错误版本,应归入资料管理问题;若原文存在但模型表述超出了原文支持范围,则属于生成与引用关系问题。
7 技术结论
AI4S 接入物理实验流程后,排障重点应从"模型能否完成任务"转向"结论、证据、资料身份和操作授权是否可核验"。MHS 与 Claude Science 带来的是新的连接方向,科研责任归属仍需要依靠段落级引用校验、稳定身份字段、数据所有权规则以及版本和撤销记录来落地。