
系统综述的第一关,常常是两百条题录要在标题摘要层做去留。界面上最显眼的是「能不能一次贴进去让模型筛完」。真正决定能不能交权的,往往是更闷的部件。有没有金标准标签可算召回,漏检能不能回查,整批与逐篇的边界在哪,不确定记录会不会被当全文结论,最后有没有人类必审。
本文依据 Zero to AI Expert 公开视频字幕整理。标题 Screen 200 Research Papers with AI, and Check What It Missed ,频道 Zero to AI Expert,约 11 分钟,公开日期 2026-10-07,视频 ID wKexd8nnqRI。讲者用公开系统综述筛检标签(边人格障碍心理治疗相关 SYNERGY 风格金标准)对照 Claude 整批粘贴与逐篇决策的召回与漏检,并提出 Screen、Rescue、Recheck 工作流。下文按字幕意译工程要点,不杜撰讲者原话或把视频中的召回数字写成我方实测 。实验部分用虚构 40 条题录对照五类残缺配置(_w/lit-screening-select/)。

图:上排为七项验收;中排为五类残缺配置;底部为终裁与人类必做。
目标说明
读完你应能独立完成四件事。
- 说清 AI 辅助题录筛选至少要按七项做能用/限场景/不能用验收。
- 把终裁写成三档,并写清人类必做与失败含义。
- 在虚构 40 条题录上复现整批漏检、无金标准、关掉回查、当全文结论、无人类审。
- 留下验收 CSV,换模型或换提示词时复跑同一脚本。
视频要点(字幕意译,非逐字引语)
可确认信息包括标题、频道、时长与日期。字幕强调:筛检是标题摘要第一关,存疑应保留;整批粘贴可以很快,但漏掉的常常是无摘要、标题误导、或准则摘要漏写例外的记录;召回要以金标准纳入标签来算;已知应纳入的几条可做冒烟,却不能证明全库召回;Rescue 应用规则捞回无摘要却可能相关的记录;Recheck 用新对话回看排除堆;准则要粘贴协议原文含例外,摘要式准则会悄悄丢条件。Cochrane 对自身综述仍把双人独立筛检视为重要标准,AI 可做快的第一遍,不能当唯一决定者。
| 要点 | 字幕脉络 | 工程落点 |
|---|---|---|
| 金标准 | 公开纳入/排除标签 | 召回可算 |
| 整批风险 | 无摘要与标题党易漏 | 批处理边界 |
| 逐篇 | 一行一决含 unsure | 不确定保留 |
| Rescue | 无摘要相关题名回捞 | 漏检可回查 |
| Recheck | 排除堆二次看 | 人类必审 |
| 准则原文 | 例外句不可摘要丢 | 提示词审计 |
失败含义:演示能出短名单 ≠ 可把筛检无人值守交给产品。缺金标准、缺回查、把筛选当全文、无人类审时,不得因「看起来快」放行。
实验:虚构 40 条题录上的七项验收
同一迷你题录(含金标准纳入/排除、无摘要易漏、标题党易误排),对照完整配置与五类残缺。输出原样(节选):
text
金标准标签可核 score=0.85 终裁=能用 | 人类必做=抽检输出并保留审计日志
召回可算 score=0.80 终裁=能用 | 人类必做=抽检输出并保留审计日志
漏检可回查 score=0.78 终裁=能用 | 人类必做=抽检输出并保留审计日志
批处理边界 score=0.75 终裁=能用 | 人类必做=抽检输出并保留审计日志
逐篇决策边界 score=0.80 终裁=能用 | 人类必做=抽检输出并保留审计日志
人类必审节点 score=0.82 终裁=能用 | 人类必做=抽检输出并保留审计日志
不替代全文阅读 score=0.80 终裁=能用 | 人类必做=抽检输出并保留审计日志
G合计部件=7 能用=7 限场景=0 不能用=0
配置失败含义: 金标准标签可核 被降级 -> 终裁=不能用 不可无人值守交权
配置失败含义: 漏检可回查 被降级 -> 终裁=不能用 不可无人值守交权
配置失败含义: 不替代全文阅读 被降级 -> 终裁=不能用 不可无人值守交权
配置失败含义: 人类必审节点 被降级 -> 终裁=不能用 不可无人值守交权
读法:G0 七项全在能用档。F2 无金标准、F3 关掉回查、F4 当全文结论、F5 无人类审,任一关键部件打到不能用,配置级结论都是不可无人值守交权。F1 整批一次判会把批处理与逐篇边界打到限场景,召回在迷你集上可见下降。
七项分别卡什么
金标准标签可核。没有纳入/排除标签,召回只是自我感觉。
召回可算。属于金标准纳入的,保留了多少,必须能算出分子分母。
漏检可回查。排除堆与无摘要子集要有 Rescue 规则,漏掉不能无痕迹。
批处理边界。整批粘贴要限制规模,并核对「几进几出」计数。
逐篇决策边界。允许 unsure,存疑进全文,不因模型自信而硬排。
人类必审节点。短名单与回捞名单必须人读。
不替代全文阅读。标题摘要筛检过关 ≠ 纳入研究。
可执行清单
- 先准备金标准或已知纳入子集,再让模型筛。
- 准则粘贴协议原文,含例外句。
- 优先逐篇或小批,统计决策条数与输入条数是否一致。
- 对无摘要且题名可能相关的记录做 Rescue。
- 对排除堆做 Recheck,人读模型新旗标。
- 复跑
_w/lit-screening-select/lit_screening_select.py,留 CSV。
常见误区
- 用「我知道的那几篇都在」证明全库召回。
- 摘要式准则丢掉例外条件。
- 整批输出条数与输入对不上却不追问。
- 把 unsure 直接当排除。
- 无摘要记录一律排除。
- 把筛检短名单写成「已纳入研究」。
- 工具品牌横评代替验收表。
失败含义
金标准缺失时,任何高召回数字都不可信。关掉漏检回查时,漏网记录不会自己回到视野。把筛选当全文结论时,方法学上已经越权。无人类必审时,模型的自信会变成流程的自信。
视频里的 Screen、Rescue、Recheck 可以当成工作流最小集。Screen 必须,Rescue 必须,Recheck 强烈建议。已知论文冒烟只当烟雾测试。Cochrane 双人标准提醒你:AI 加速的是第一遍,不是终裁权。
本实验是虚构 40 条,标签比例刻意提高了纳入份额,不能外推到你的真实检索比。换题库时只复用七项与脚本结构,不复用这里的召回数字。
和 Rayyan 式工具横评、检索策略生成、LibKey 串联那些篇不重复。本篇只验收「筛选决策是否可终裁」,不推销某一筛检软件。
总结
题录筛选的终裁,看的是金标准、召回、漏检回查与人类必做,不是模型一分钟能吐多少行。七项里任何一项落在不能用,就不要无人值守。CSV 留下以后,换模型只换配置,不换验收口径。
整批与逐篇怎么选
字幕对照里,整批粘贴很快,但漏检常集中在无摘要与标题误导的那几条。逐篇或小批要求一行一决,并允许 unsure。工程上我的默认是:题录少于一百可以逐篇;过百先小批,每批核对进出条数;整库一次粘贴只作为探索,不作为终裁。F1 把批处理边界打到限场景,就是在说「能跑」与「能交权」不是一回事。
金标准从哪里来
理想情况是已完成综述的公开筛检标签,或本团队双人筛过的子集。若还没有,至少准备「已知应纳入」的锚点集做冒烟。冒烟能发现提示词灾难性失败,不能证明召回。视频明确把已知论文检查当成烟雾测试,验收表里「召回可算」仍要求金标准标签可核。
Rescue 规则的最小集
无摘要且题名含干预或病种关键词的记录,进人工全文。标题含 naturalistic、pilot、protocol 等易误导词的排除记录,进 Recheck。规则写进脚本,不写进临场发挥。关掉 Rescue 时,漏网记录不会自己回来,F3 的失败含义就是这一句。
把筛选当全文结论的越权
短名单只说明「值得读全文」。把短名单写进纳入研究表,方法学上越权。F4 专打这一条。即便召回看起来完美,只要配置声称筛选即终局,终裁就是不能用。
与检索策略生成文的边界
检索策略管的是怎么把题录找全。本篇管的是找全之后怎么筛。策略再好,筛检把该留的丢掉,综述仍偏。两篇清单可以装订在一起,但验收口径不要混。
换模型时,只替换决策函数,不替换七项。提示词版本号写进 CSV,方便对比同一金标准上的召回变化。提示词一改,旧召回数字作废。
人类必审节点建议固定两人角色:一人看 Rescue 回捞,一人看 Recheck 旗标,最后交叉签名。单人「我自己审了」在疲劳时等于无审。
总结补强
选型终裁表要能回答三个问题。召回怎么算。漏检怎么捞。谁在全文前最后签字。答不清,就还停留在工具演示,而不是可交权流程。
计数纪律
整批输出若声称筛了二百条,实际列表只有一百九十七,这本身就是信号。视频脉络提醒要数清楚进出。脚本侧应对每条输入强制写出决策枚举,缺行即失败。不要用「大致这些」交差。
提示词审计
准则原文、例外句、输出格式三块分开版本化。改了例外句却不改版本号,召回对比会失真。把提示词哈希写进 CSV 一行,比事后翻聊天记录省事。