证据综合 × AI：BrainX 选型表、人工终裁与可审计产物

千笔-AIWritePaper · https://www.aiwritepaper.com

证据综合场景里最容易买错的不是「哪个模型分数高」，而是把通用聊天、专科临床工具、综述工作流当成同一选型 。BrainX Community Live 2026 年 7--8 月场次公开标题是 Evidence synthesis in the age of AI -- What Works, What Doesn't, What's Next （2026-08-26，11:00--12:00 ET）。公开预告写明：Ruthvik Edara（BrainX AI ReSearch）以 journal club 方式检视四篇及时文献，随后与 Robert Hoyt MD FACP 做讨论；问题意识是临床问答、健康职业教育与证据综合里，AI 什么能做、什么做不到、下一步是什么 。本文不扩写视频简介、不编造讲者原话，而把可操作验收落成选型表 + 人工终裁 + 可审计产物。逐字稿本次未能稳定拉取，语料以公开预告与四篇可打开文献为准，不冒充现场逐字讲义。

视频：https://www.youtube.com/watch?v=HphQYEjmMMw

场次页：https://brainxai.org/connect/

图：通用 LLM / 临床工具 / 证据综合工作流三栏选型；G1--G3 人类终裁；底部 journal club 抽检产物。

目标说明

读完应能独立完成五件事：

用一句话说清验收核：先选对工具类型，再抽检主张，最后由人类写下 adopt / trial / reject。
对照选型表，判断当前任务该用通用模型、临床检索工具，还是带闸门的综述工作流。
列出四篇公开语料的「能引用什么 / 不能写成什么」。
当天跑最小实验：brainx-selection.csv + brainx-club-extract.csv + brainx-adjudication.csv，至少 1 条 reject/defer。
对外披露时把榜单数字标成论文快照，不写成你科室已复现的疗效或采购结论。

适用边界

适合

医疗/公卫/护理课题组要试用 AI 做检索、问答或综述辅助，需要把门禁写进 SOP。
journal club 已有论文 PDF，但讨论停在「感觉很好用」。
需要区分「基准测试领先」与「可进点诊/可进综述」。
希望把不确定性写成行级终裁，而不是把高分工具直接写进指南。

不适合

把 webinar 扩成「通用模型已取代临床工具 / 已取代系统评价」站队文。
无人类终裁就把模型答案写进病历、处方或系统综述结论。
只有聊天记录，无选型表/抽检 CSV，却宣称已部署证据综合 AI。
伪造「已在本院复现 Nature Medicine 结果」等未核实结论。
索要或传播危险临床操作细节：本文只验收流程门禁。

风险

公开预告强调 what works / what doesn't / what's next，本身就是反对单点神话。通用模型在某些基准与真实医师问题上可能领先专科工具，但这不等于可进诊疗、也不等于可自动综合文献。最小实验证明的是闸门可跑通，不是某条临床主张为真。视频未逐字核验的句子一律不当引语。

选型 / 验收表

类型	更合适	人类必做	产物	失败含义
通用 LLM	草稿检索式、解释概念、对照表草案	锁问题、禁直接进病历/综述结论	prompt-log.md	把流畅答案当证据
专科临床 AI 工具	带文献链接的点诊检索	打开链接、核对题名/年份、医师终裁	cite-check.csv	只看工具分或拒答率
证据综合工作流	系统/范围综述的检索---筛题---抽取	PICO/资格卡 + 双人筛题 + 数字对原文	pico + screen-log + extract	用聊天摘要冒充 PRISMA
journal club 协议	读「评 AI 的论文」本身	抽出主张、限制、利益冲突	club-extract.csv	把新闻通稿当方法学

完整表见 _w/brainx-selection.csv。

四篇公开语料怎么用（能写 / 不能写）

预告点名的四篇，用作 journal club 抽检对象，不是你的实验数据。当天只允许写「论文主张 / 边界 / 我方终裁」，禁止写「本院已验证」。

Generative AI Research in Health Professions Education: A Scoping Review （Edara 等，Medical Science Educator , 2026）
能写：职业教育场景里生成式研究的范围与缺口。不能写：某课件生成器已可替代教师。
General-purpose large language models outperform specialized clinical AI tools on medical benchmarks （Vishwanath 等，Nature Medicine , 2026-06-12，https://doi.org/10.1038/s41591-026-04431-5）
能写：在 MedQA / HealthBench / 100 条真实临床提问（12 名临床医生盲评）这一快照里，三个通用前沿模型高于两个专科工具；作者呼吁独立、真实世界评价。不能写：采购必须换通用模型，或专科工具「已无价值」。论文自己把结果称为快速变化图景中的快照。
The accuracy and repeatability of OpenEvidence on complex medical subspecialty scenarios: a pilot study
能写：专科情景下的准确性/重复性需要单独协议。不能写：用新闻里的单一百分比代替你自己的抽检。
Expert Evaluation of Clinical AI Tools on Real Point-of-Care Clinical Queries
能写：点诊真实提问要有专家评价设计。不能写：把标题当成已通过的本院评价。

配套还有一篇 Nature Medicine 编辑摘要：General-purpose chatbots outperform clinical AI tools on physicians' real-world questions（https://doi.org/10.1038/s41591-026-04457-9），引用时标明「对上文的总结，不是第二套你方数据」。

机制要点：三道人类终裁

G1 · 选型终裁（先分类，再试用）

问三句：任务是解释、点诊检索，还是可复现综述？有没有必须打开的文献指针？失败时停在哪一层？选错类型直接 reject 试用，不必先跑分。

G2 · 主张抽检（论文或工具输出都要行级）

每条一行：source_id,claim_text,support_span,limitations,human_decision,reviewer,timestamp。

决策枚举：adopt_for_club / trial_only / defer / reject。

当天不允许 deploy_to_clinic 或 write_into_review_results。

G3 · 综合越权（AI 最多交缺口列表）

证据综合默认升级为人类终裁。AI 可起草「未覆盖人群 / 未报告终点 / 检索式差异」；不得输出效应量合并或临床建议。这与 Manitoba / RAISE 类闸门一致：增强、不替代专业判断。

当天最小实验

选 1 个真实任务：例如「为 journal club 准备 3 条主张」。
填选型表：说明为什么不用另外两类工具冒充。
对上述语料抽 ≥5 行（至少覆盖 2 篇可打开 DOI）。
人类终裁；必须含 1 条 defer 或 reject（例如：把基准领先写成采购令 → reject）。
产出：selection + club-extract + adjudication。

产物	证明
selection CSV	类型没选错
club-extract CSV	主张可抽检
adjudication CSV	人类终裁留下枚举

示例见 _w/brainx-club-extract.csv 与 _w/brainx-adjudication.csv。

可验证清单

视频 URL 已引用：HphQYEjmMMw。
选型三栏能口头讲解，并能指出当前任务属于哪一栏。
抽检 ≥5 行，含至少 1 个 defer/reject。
未把 Nature Medicine 快照写成采购或疗效结论。
未输出危险临床步骤。
未编造讲者原话或未打开论文的精确数字。

踩坑

用通用模型分数压倒专科工具，却无真实提问抽检。
用专科工具的文献卡冒充系统综述检索。
把 scoping review 的「有研究」写成「已有效」。
journal club 只念新闻通稿，不打开 DOI。
终裁枚举写成散文「看起来不错」。

主张句质量的四刀（对着论文用）

能否被证伪？不能证伪就不是主张。
有没有主体与条件（基准名、样本量、评价者）？
能否一句话指向可打开文献？
删掉这句，选型是否仍成立？成立说明它是装饰句。

装饰句可以留在讨论草稿，但不得进入 adopt_for_club。

如何引用公开数字而不越权

Vishwanath 等报告了 MedQA 上 Gemini 97.4%（95% CI 95.6--98.5）等快照数字。正确引用：

标明论文、日期、DOI；
标明评价集与盲评设计；
同时写作者自己的限制（训练污染争议、图景变化快）；
不要改写成「Gemini 已是临床金标准」。

若你组没有复现条件，终裁最多 trial_only：允许在 journal club 引用，不允许写进临床路径。

与系统综述闸门的差别

系统综述闸门管检索式/筛题/抽取的方法学可辩护性；本篇闸门管工具类型有没有选对、评 AI 的论文有没有被当神话。产物不同：前者是 PICO 与 screen-log，后者是选型表与 adjudication。不要混用表格冒充已验收。

对外沟通模板

「我们读了 BrainX 8 月 journal club 的公开书单，并完成选型与主张抽检。当前权限停在 club / trial，不进入病历或综述结果表。Nature Medicine 等数字来自原论文快照，不代表本机构已复现。」这段话可直接放进纪要。

当天交付物清单

_w/brainx-selection.csv
_w/brainx-club-extract.csv
_w/brainx-adjudication.csv
组会纪要中的对外沟通模板一句

因公开预告 + 四篇文献已够做选型与终裁协议，未切换 到备用视频 uzSKkfgfgK8（PRISMA AI lit eval）。若后续要补 PRISMA 操作课，另开一篇，不要和本篇混目录。

journal club 90 分钟脚本

10 分钟：用选型表声明今天不评疗效，只评「工具类型 + 论文主张」。
25 分钟：打开 Vishwanath 等 DOI，抽出 3 条可否定主张（基准名、盲评、快照限制）。
20 分钟：对照专科工具论文或预告中的另外一篇，问「它补了通用模型论文没覆盖的什么」。
20 分钟：逐行终裁，强制出现 1 条 reject/defer。
15 分钟：念对外沟通模板，确认没有人把数字写进临床路径。

若有人在会上说「那就全换通用模型」，主持应指向选型表第二行：点诊检索仍要打开链接与医师终裁，分数领先不是选型终点。

可审计产物的存放

建议目录：

text 复制代码

club/2026-09-12-brainx/
  selection.csv
  club-extract.csv
  adjudication.csv
  dois/          # 打开页截记或题名核对
  minutes.md     # 含对外口径一句

dois/ 里至少两篇题名与 CSV 的 source_id 对得上。打不开的 DOI 不得进入 adopt_for_club。

利益冲突与新闻通稿

Nature Medicine 结果发布后，专科工具厂商可能公开质疑基准污染；这本身应进 limitations 列，而不是被自动当成「论文作废」或「厂商正确」。终裁官写的是「争议存在，故最多 trial_only」，不是选边。新闻通稿里的「击败」字样不得进入 extract 的 claim_text。

下一步权限升级（变更单）

仅当同时满足才讨论 trial 以上：

连续两次 club 日志完整；
临床或方法学责任人书面同意；
失败回滚：谁有权 stop 把模型输出撤出工作区；
对外口径仍保持「助手非替代」。

缺任何一条，保持 trial_only。证据综合助手的风险，往往不在模型不会写，而在组织太快把快照当成批准。

总结

证据综合里用 AI，靠的是选型表 + 主张抽检 + 人工终裁日志，不是更会写的临床故事。先跑通三份 CSV，再谈是否扩大权限。去掉任何产品名，读者手里仍应剩下可审计产物。