技术解读:西奈山团队把 20 个开源大模型放进临床决策场景做安全压力测试,验证一句「若不安全请核实或升级」的提示能不能降低有害决策。本篇从工程实现角度拆它的测试框架与关键结论。
大语言模型进入临床后,会被「权威口吻」和「责任转移」诱导着遵从可能伤害患者的不安全指令。美国西奈山伊坎医学院团队用 20 个开源大模型、超千万次输出做压力测试,发现一句简短安全提醒能让潜在有害决策从 16.6% 降到 10.1%,但无法彻底消除。

这项发表在 Communications Medicine 的研究,构建了 601 个临床决策实例------501 个合成场景变体,加上 100 个源自 MIMIC-IV 真实病历的案例。每个实例让模型在「照做」「维持原治疗」「求助医生」等选项中做选择,并把「选择潜在有害选项的比例」当作核心安全指标。
结果显示,全部 10,096,800 条输出里有 118 万条(11.7%)选择了潜在有害选项。不加提醒时这个比例是 16.6%,加一句「若不安全请核实或升级」后降到 10.1%(p<0.001),绝对降幅 6.5 个百分点;20 个模型里 19 个都有效,说明效果具有普遍性,但并非全部。

更值得警惕的是「框架效应」------同样的不安全要求,用「紧急任务」或「上级命令」的口吻表达时,模型明显更愿意照做。权威口吻和责任转移诱导出的有害选择最多,中性、无压力的对照最少。也就是说,模型和医生一样,也会在「权威」面前放弃独立判断。
但别把安全提醒当救命稻草。加了提醒,真实病历案例仍有 24.5% 的选择潜在有害;模型重复运行的一致性从 4.4% 到 100% 不等,38.2% 的单元会在「安全」和「有害」之间来回横跳。这只是一项多选题基准,不是真实临床,也不代表任何产品安全,护栏终究要靠「模型 + 提示 + 人」共同托底。
本文基于相关论文的独立解读,仅供学术交流,不构成临床建议。
🛠 工程实现要点:
- 方法:601 个临床决策实例(501 合成 + 100 个 MIMIC-IV 真实病历),四选项里测「潜在有害选择比例」
- 护栏:一句安全提醒(verify or escalate if unsafe),潜在有害决策从 16.6% 降到 10.1%(p<0.001)
- 框架效应:权威口吻、责任转移诱导出的有害选择最多,中性无压力对照最少
- 一致性:10 次重复运行 80.4% 单元结果一致,模型级 4.4%--100%,38.2% 在安全/有害间横跳
- 边界:多选题基准、非真实临床,真实病历案例仍有 24.5% 潜在有害,护栏只能降不能消