AI 知识库的主流做法是 RAG,RAG怎么做

AI 知识库一般怎么搭建

AI 知识库的主流做法是 RAG:文档先切块,建立向量和关键词索引后入库;提问时先检索相关片段,再交给大模型回答,并带上来源。模型本身不"记住"你的资料,这些内容也不会写进模型参数。检索质量很大程度上决定回答好不好:找回来的片段是错的,后面的回答再流畅也是错的。

AI 知识库的主流做法是 RAG :文档先切块,建立向量和关键词索引后入库;提问时先检索相关片段,再交给大模型回答,并带上来源。模型本身不"记住"你的资料,这些内容也不会写进模型参数 。检索质量很大程度上决定回答好不好:找回来的片段是错的,后面的回答再流畅也是错的。

典型结构

一条链路就够用:

一条链路就够用:

  1. 资料接入:文档、Wiki、工单、代码、网页。只收仍在维护、有人负责的内容。

  2. 清洗与切块:去掉页眉页脚、重复段落;按标题、段落切。块大小先按 300--800 字试,在标题和段落边界断开;相邻块重叠大约 10%--20%,避免一句话被截断。

  3. 索引:每块同时做向量索引和关键词索引(BM25)。中文要先分词,再做关键词索引。入库和提问用同一个向量模型,换模型就要整库重算。每块带上元数据:来源、部门、生效时间、权限、文档类型。

  4. 检索:先按提问者当时的权限过滤,再做混合检索。先取回一二十条,再用重排序模型压到 3--5 条。

  5. 生成:把这几段原文和问题一起给模型,要求只根据原文回答,并标出引用。没有命中,或检索分数不够时,直接说"资料里没有",不要让模型补全。

  6. 更新:源文档一改,就重新切块,用新片段替换旧片段。过期文档要能下线。只追加、不删旧片段,库里会同时留下两个版本。

  7. 资料接入 :文档、Wiki、工单、代码、网页。只收仍在维护、有人负责的内容。

  8. 清洗与切块 :去掉页眉页脚、重复段落;按标题、段落切。块大小先按 300--800 字 试,在标题和段落边界断开;相邻块重叠大约 10%--20%,避免一句话被截断。

  9. 索引 :每块同时做向量索引和关键词索引(BM25)。中文要先分词 ,再做关键词索引。入库和提问用同一个向量模型,换模型就要整库重算。每块带上元数据:来源、部门、生效时间、权限、文档类型。

  10. 检索 :先按提问者当时的权限 过滤,再做混合检索。先取回一二十条,再用重排序模型压到 3--5 条。

  11. 生成 :把这几段原文和问题一起给模型,要求只根据原文回答 ,并标出引用。没有命中,或检索分数不够时,直接说"资料里没有",不要让模型补全。

  12. 更新 :源文档一改,就重新切块,用新片段替换旧片段。过期文档要能下线。只追加、不删旧片段,库里会同时留下两个版本。

向量检索可以放在 Milvus、Qdrant,或 Postgres 的 pgvector 扩展里。它只是这条链路里的一块存储,换库很少能单独把效果拉上来。

向量检索可以放在 Milvus、Qdrant,或 Postgres 的 pgvector 扩展里。它只是这条链路里的一块存储,换库很少能单独把效果拉上来。

按规模选怎么搭

3 lines collapsed

| 公司内部知识库 | 用可自建的 Dify、FastGPT、RAGFlow、AnythingLLM,加上统一账号和权限。文档仍放在飞书、Confluence、Git 里,那里是可编辑的原文;知识库保存切块和索引,供检索使用。 |

| 要深度定制 | LlamaIndex 或 LangChain 写接入和检索,向量放 pgvector 或 Qdrant,生成接你们已有的模型 API。 |

Gemini Notebook 会保存一份文档副本,数据在 Google 一侧,适合个人试水。公司资料用上面这一行可自建的平台,并先确认当前版本的许可、以及原文会不会出域。Dify 若要开多个工作区,先核对自己所用版本的许可条款。

Gemini Notebook 会保存一份文档副本,数据在 Google 一侧 ,适合个人试水。公司资料用上面这一行可自建的平台,并先确认当前版本的许可、以及原文会不会出域。Dify 若要开多个工作区,先核对自己所用版本的许可条款。

建议先用现成平台跑通 50--200 篇核心文档。检索不准、引用乱、权限过不了关时,再拆出来自建。一上来自建,时间大多耗在解析 PDF 和运维上。

建议先用现成平台跑通 50--200 篇 核心文档。检索不准、引用乱、权限过不了关时,再拆出来自建。一上来自建,时间大多耗在解析 PDF 和运维上。

效果主要靠这些

  • 资料先瘦身。 过期制度、草稿、聊天记录会把正确答案挤掉。一份文档一个主题,标题写清楚,表格和步骤保持结构,比换更强的模型有用。

  • 混合检索 + 元数据过滤。 纯向量对产品名、工单号、错误码不稳;关键词补这一块。能按部门、产品线、生效日期先滤掉的,不要全库硬搜。

  • 权限做在检索前。 按提问当时的身份过滤。检索结果里不能出现用户无权看的片段,生成阶段再过滤已经晚了。员工调岗后,下一次查询读新的身份即可,不必为他重做整库。

  • 回答必须带来源。 每条结论对应原文链接或段落。没有命中时直接说"资料里没有",不要让模型补全。

  • 留一个评测集。 挑 30--50 个真实问题,记下标准答案和应命中的文档或段落,再放进几道资料里没有的题、几道无权查看的题。改切块、改检索、换模型时用同一套题对比,分开看"该中的段落中了没有"和"答案有没有超出原文",否则只能凭感觉。

  • 区分"找文档"和"做总结"。 制度、接口、排错适合检索后摘录;跨很多文档的综述要单独做摘要或主题索引,单次检索盖不住。

  • 资料先瘦身。 过期制度、草稿、聊天记录会把正确答案挤掉。一份文档一个主题,标题写清楚,表格和步骤保持结构,比换更强的模型有用。

  • 混合检索 + 元数据过滤。 纯向量对产品名、工单号、错误码不稳;关键词补这一块。能按部门、产品线、生效日期先滤掉的,不要全库硬搜。

  • 权限做在检索前。 按提问当时的身份过滤。检索结果里不能出现用户无权看的片段,生成阶段再过滤已经晚了。员工调岗后,下一次查询读新的身份即可,不必为他重做整库。

  • 回答必须带来源。 每条结论对应原文链接或段落。没有命中时直接说"资料里没有",不要让模型补全。

  • 留一个评测集。 挑 30--50 个真实问题,记下标准答案和应命中的文档或段落,再放进几道资料里没有的题、几道无权查看的题。改切块、改检索、换模型时用同一套题对比,分开看**"该中的段落中了没有"和"答案有没有超出原文"**,否则只能凭感觉。

  • 区分"找文档"和"做总结"。 制度、接口、排错适合检索后摘录;跨很多文档的综述要单独做摘要或主题索引,单次检索盖不住。

建议的起步顺序

  1. 圈定一个范围,例如「研发规范」或「某个产品的手册」,不要全公司文档一起倒进去。

  2. 用 Dify、RAGFlow 这类可自建的平台接上这些文档,打开混合检索和引用。

  3. 自己问两周,把答错的问题记下来。先查切块、标题和资料是否过期。这类错误换模型解决不了。

  4. 错题的原因比较集中之后,再补定时同步和评测集。试用的人都能看这些文档时,权限可以这一步再加;文档有密级差别时,权限过滤从接上文档就开始做。

  5. 这个范围稳定了,再复制到下一个知识域。不同域分开索引,比做一个巨型库更好控。

  6. 圈定一个范围,例如「研发规范」或「某个产品的手册」,不要全公司文档一起倒进去。

  7. 用 Dify、RAGFlow 这类可自建的平台接上这些文档,打开混合检索和引用。

  8. 自己问两周,把答错的问题记下来。先查切块、标题和资料是否过期。这类错误换模型解决不了。

  9. 错题的原因比较集中之后,再补定时同步和评测集。试用的人都能看这些文档时,权限可以这一步再加;文档有密级差别时,权限过滤从接上文档就开始做。

  10. 这个范围稳定了,再复制到下一个知识域。不同域分开索引,比做一个巨型库更好控。

常见失败是:什么都往里灌、没有负责人更新、不看引用就当答案用。知识库是检索系统,原文质量和更新机制比模型选型更决定能不能用。

常见失败是:什么都往里灌、没有负责人更新、不看引用就当答案用。 知识库是检索系统,原文质量和更新机制比模型选型更决定能不能用。

相关推荐
小虎AI生活20 分钟前
哇塞~24小时开机的WorkBuddy免费领,速来
aigc·ai编程
郑世录4 小时前
codex 接本地模型,单次输出卡在 3208 token:一份照着做就能改的完整教程
ai编程
JavaGuide5 小时前
Gemini 真的变强了,写代码做视频的能力接近 Claude Opus5.5 了!
前端·ai编程
qinglongcn5 小时前
四面统一:记忆/Session/观测/Cron
agent·ai编程
qinglongcn5 小时前
从 metadata 键到独立列
agent·ai编程
YanisJiang6 小时前
别只把 AI 聊天当成「又一个网页」:把状态驱动的陪伴内核接到你自己的项目里
ai编程
AI入职记8 小时前
RAG 一个请求吃掉 8 个核,chat 只要 0.16 个
后端·ai编程
K78 小时前
别再搜「LangChain 教程」了——你学的 Chain 已经被判了死刑
langchain·ai编程
永不退场的闯关族9 小时前
把 AI 阅读工具做成 local-first:页边 ThinRead 的架构、取舍与踩坑
ai编程