一次"揉数字"幻觉引发的治理改造:RAG 之外的四道防线
前言
见过最尴尬的一次幻觉:模型把两份文件的标准揉在一起,编出一个两份文件里都不存在的"第三种标准",用户信了、照办了、回头发现对不上,回来投诉。那之后我把幻觉治理当成持续工程来做,而不是"上了 RAG 就完事"。这篇讲 RAG 之外实际在用的四道手段,全部经过线上检验。
一、给它一条体面的退路
治理幻觉有个反直觉起点:**别把模型逼到必须回答。**提示词明确写"只根据资料回答,资料里没有就直说没有",并要求逐条标来源。很多幻觉不是模型想编,是被"必须回答"逼出来的------给了退路,它就用。
二、让每句话查得到出处
来源标注要真的可查才有用。我们平台检索结果自带出处(哪份文档哪个位置),表格类答案带全套户口(数值、单位、来自哪张表哪一行)。同样一句"报销上限三千元",光秃秃一句话和底下挂着"出自某制度第四章"的话,可信度完全两样。
溯源治幻觉的思路不是防,是验------幻觉最怕阳光,说不出来源的回答活不长。
三、矛盾了,别替用户做主
新旧说法打架时最省事的是默默挑一个说。我们反着来:矛盾不裁决,标注出来让模型当面问用户------"记录里有两个说法,您确认一下哪个现行?"用户答一句比提示词叮嘱十遍管用,确认完回写记忆,同样的坑不踩第二次。
四、发一张拒答许可证
这条最考验心态。很多团队不敢让模型说"我不知道",怕显得产品不行。但一句诚实的"资料里没有,建议咨询人事部门",和一段流畅的编造被戳穿,后者掉的信任不止一格。政务、医疗这类场景尤其如此------检索为空或相关性低时,理直气壮地说没有,是设计出来的能力,不是失败。
五、让幻觉率变成数字
治理有没有效不能靠感觉。评测题里专门混"资料覆盖不到的问题",看模型硬编还是承认;答案拿标准出处比对,编造记账。幻觉率成了可盯着的数字,每次换提示词、换模型、改检索都跑一遍------治理措施会退化,数字盯着,退化当场现形。
六、写在最后
这些手段没有一道完美:提示词会被绕、溯源要维护、拒答损失表面能力。但叠起来之后,幻觉从"随机炸雷"变成"持续受控"------知道它会在哪出现、出现会被什么拦住、拦漏了会被数字抓到。治理的目标从来不是零幻觉,是受控。
下一篇换话题:接第三方框架,怎么不被绑架。