RAG:把知识库接进大模型,然后呢?
------原理、常见的坑,与一场知识管理的老手艺
RAG 给大模型安排的是一场开卷考试:题还是那些题,但允许现场翻资料。考得好不好,一半看学生(模型),另一半看你的资料整理得怎么样。
三句话版 :RAG = 检索 + 生成------先从知识库里找出和问题相关的片段,再让大模型"只依据这些片段"回答。它让模型不用重新训练就能"认识"你的私有知识。在知识库场景里,检索质量决定效果的上限,知识库本身的质量决定下限:RAG 是知识质量的放大器,不是修正器。
一、大模型不认识你的公司
通用大模型读过整个互联网,但没读过你公司的员工手册。它不知道退款超七天还能不能退,不知道那个内部系统的接口怎么调,不知道" Odyssey 项目"是哪个项目。
把私有知识灌给模型,有两条路:
微调 ,相当于让学生把资料背下来------把知识写进模型参数。RAG(Retrieval-Augmented Generation,检索增强生成),相当于开卷考试------知识放在外面,答题时现场翻。
| 微调(背书) | RAG(开卷) | |
|---|---|---|
| 知识更新 | 重新训练一轮 | 改文档即生效 |
| 成本 | 高(数据、算力、周期) | 相对低 |
| 能否指出出处 | 不能 | 能,可带引用 |
| 擅长改变什么 | 行为、风格、输出格式 | 事实性知识 |
经验法则是:微调适合改"怎么说话",RAG 适合补"知道什么"。企业知识库恰恰是"知道什么"的问题,而且知识天天在变、回答需要可追溯------所以首选 RAG。两者不互斥,但知识库场景里,RAG 是主角。
二、RAG 在做什么:三步
scss
离线建库: 文档 → 切块(Chunking) → 向量化(Embedding) → 存入向量库
在线问答: 用户提问 → 向量化 → 相似度检索 Top-K → 拼进 Prompt → LLM 生成回答(带引用)
第一步,索引(离线)。 把文档切成一个个片段(chunk),每个片段用一个向量来表示。向量的直觉是"语义坐标":把一段文字映射成一串数字,意思相近的文字,坐标就挨得近。这些向量连同原文、来源、标题、日期一起存进向量数据库。
第二步,检索(在线)。 用户的问题同样被转成向量,去库里找坐标最近的 K 个片段。"退款超过七天还能退吗"会召回《售后管理制度》里关于时限的那一段。
第三步,生成。 把检索到的片段塞进 Prompt,并附上指令:
请仅依据以下材料回答问题。如果材料不足以回答,请直接说明。回答需标注引用来源。 【材料1】《售后管理制度》v3.2 第 4 条:......
模型的工作从"凭记忆答"变成"看着材料总结"。知识在库里,模型只负责阅读理解。
这就是 RAG 的全部骨架。接下来的所有工程复杂度,都是在回答一个问题:怎么让第二步找出来的东西,恰好是回答所需的。
三、为什么知识库场景对它期望这么高
企业知识库的现状大家都熟:文档散落在 Confluence、Wiki、群文件和某位同事的电脑里;搜索只能按关键词匹配;新人的很多问题,实际答案是"去问老王"。
所以 RAG 的承诺非常有吸引力:直接用自然语言问,回答还带出处。本质上,它是把"问老王"变成"问系统"。
但这里埋着一个容易被忽略的对照:老王好用,不只是因为他记得多,而是因为他脑子里有一张地图------哪个文档是最新版、哪条规则去年改过、哪次特批是什么条件。RAG 系统天生没有这张地图,它只看到一堆片段。地图缺失的代价,就是下一节的那些坑。
四、六个常见的坑
1. 切块:第一道坎
切得太小,一段规则被拦腰斩断,检索到了也读不懂;切得太大,一个片段里混了五个主题,向量坐标变得模糊,检索信号被稀释。固定长度切块(比如每 500 字、相邻重叠 50 字)是起步方案,但更重要的往往不是切块技巧,而是元数据:这个片段来自哪份文档、哪个章节标题、发布日期、是否仍然有效。切块决定"一片有多大",元数据决定"这片是什么"。
表格、代码块、FAQ 这类结构化内容尤其要特殊处理------把一条 FAQ 从中间切开,等于销毁它。
2. 向量相似,不等于语义相关
用户说"报销",文档写的是"费用报销与差旅支出";用户输入缩写,文档用的是全称。字面和坐标都对不上,检索就会漏。业界标配是混合检索 :向量检索(管语义)+ 关键词检索如 BM25(管字面),两边结果合并后再过一道重排(rerank)------用一个更精但更慢的模型,对候选片段逐一打分排序。这一套下来,检索质量通常有明显提升。
3. 知识库本身是脏的
这是最不性感、也最致命的一条。文档过时了没下线;同一规则存在三个版本,检索到哪份就按哪份答,错得理直气壮;真正的知识根本没写下来,只在老员工脑子里和群聊记录里。
要点是认清 RAG 的本性:它是放大器,不是修正器。 知识库干净,它把十个人从重复劳动里解放出来;知识库脏,它把混乱变成十倍自信的错误输出。以前信息不流通,至少错得慢;现在流通了,错得又快又像官方口径。
4. 幻觉:材料不够时,模型会自由发挥
哪怕检索一无所获,模型也可能基于通用知识编一个像模像样的答案。约束手段有三层:Prompt 里明确"仅依据材料回答,不足则说明";要求每句话可追溯到引用;检索结果为空或得分过低时,直接走"我不知道,建议咨询某人"的兜底路径。对知识库产品来说,一句诚实的"不知道",比一次流畅的编造更有价值。
5. 权限:最常见的翻车现场
知识库从来不是全员可见的。典型事故:普通员工问了一个问题,系统从薪酬档案里检索出了只有 HR 才该看到的内容。权限过滤必须在检索层做------按文档的密级元数据过滤候选集,而不是指望用提示词叮嘱模型"不要说"。提示词是习惯,不是权限系统。
6. 没有评测集,就没有仪表盘
"感觉回答得还行"不是指标。上线前应该攒一个小评测集:一组真实问题,配上标准答案和"本应命中的文档"。检索端看命中率(该找到的文档有没有进前 K),生成端看忠实度(回答是否只基于材料)和相关性。之后的每一次优化------换切块策略、加 rerank、改 Prompt------都拿这套题重跑一遍,避免"感觉变好了"的自我欺骗。
五、优化路线:按投入产出排序
- 知识库大扫除。 下线过期文档、确定每类知识的唯一权威版本、补齐元数据。这一步没有 AI 技术含量,却常常占整个项目工作量的一半,回报也最大。
- 混合检索 + 重排。 解决"找不到"的大头。
- 查询改写。 用户的问题常常口语化、带指代、一次问多件事。把原问题先改写成适合检索的形式(补全上下文、拆成子问题),再进检索。
- 引用与溯源。 回答附上文档链接。它不只是给用户看的------引用频繁指向过期文档,就是发现脏数据的探测器。
- 反馈闭环。 用户点踩的坏案例,沉淀进评测集,变成下一轮迭代的题目。
- 知道什么时候不用 RAG。 知识量小到几百段,直接塞进长上下文更快更准;数据是结构化的(订单、工单),该走 Text2SQL 而不是向量检索;高频固定的 FAQ,直接精确匹配就好。RAG 不是唯一选项,别拿着锤子看什么都像钉子。
再往后才是进阶话题:让模型先拆解问题、多轮跳转检索的 Agentic RAG,用知识图谱补足关联性知识的 GraphRAG,处理图表和截图的多模态检索。它们都是对基础 RAG 短板的修补------地基没打牢之前,不必急着上。
结尾:一半是 AI,一半是大扫除
RAG 的架构图看起来很现代:embedding、向量数据库、大模型。但真正决定一个知识库问答系统成败的,是一串相当古典的工作:定版本、补元数据、设权限、清过期文档、攒评测集。
大模型只是这条流水线的最后一道工序------阅读理解。前面所有的工序,是知识管理这门老手艺,只是过去没人愿意付钱做,因为检索烂一点,大不了多问一次老王。
现在系统会用十倍的自信回答一切,这份工作就再也躲不掉了。
RAG 能帮你找到所有写得下来的知识;写不下来的那部分,依然要靠人。 它把"问老王"自动化了一半------另一半,知识的诞生与维护,从来就不是检索问题。