AI 知识库一般怎么搭建
AI 知识库的主流做法是 RAG:文档先切块,建立向量和关键词索引后入库;提问时先检索相关片段,再交给大模型回答,并带上来源。模型本身不"记住"你的资料,这些内容也不会写进模型参数。检索质量很大程度上决定回答好不好:找回来的片段是错的,后面的回答再流畅也是错的。
AI 知识库的主流做法是 RAG :文档先切块,建立向量和关键词索引后入库;提问时先检索相关片段,再交给大模型回答,并带上来源。模型本身不"记住"你的资料,这些内容也不会写进模型参数 。检索质量很大程度上决定回答好不好:找回来的片段是错的,后面的回答再流畅也是错的。
典型结构
一条链路就够用:
一条链路就够用:
-
资料接入:文档、Wiki、工单、代码、网页。只收仍在维护、有人负责的内容。
-
清洗与切块:去掉页眉页脚、重复段落;按标题、段落切。块大小先按 300--800 字试,在标题和段落边界断开;相邻块重叠大约 10%--20%,避免一句话被截断。
-
索引:每块同时做向量索引和关键词索引(BM25)。中文要先分词,再做关键词索引。入库和提问用同一个向量模型,换模型就要整库重算。每块带上元数据:来源、部门、生效时间、权限、文档类型。
-
检索:先按提问者当时的权限过滤,再做混合检索。先取回一二十条,再用重排序模型压到 3--5 条。
-
生成:把这几段原文和问题一起给模型,要求只根据原文回答,并标出引用。没有命中,或检索分数不够时,直接说"资料里没有",不要让模型补全。
-
更新:源文档一改,就重新切块,用新片段替换旧片段。过期文档要能下线。只追加、不删旧片段,库里会同时留下两个版本。
-
资料接入 :文档、Wiki、工单、代码、网页。只收仍在维护、有人负责的内容。
-
清洗与切块 :去掉页眉页脚、重复段落;按标题、段落切。块大小先按 300--800 字 试,在标题和段落边界断开;相邻块重叠大约 10%--20%,避免一句话被截断。
-
索引 :每块同时做向量索引和关键词索引(BM25)。中文要先分词 ,再做关键词索引。入库和提问用同一个向量模型,换模型就要整库重算。每块带上元数据:来源、部门、生效时间、权限、文档类型。
-
检索 :先按提问者当时的权限 过滤,再做混合检索。先取回一二十条,再用重排序模型压到 3--5 条。
-
生成 :把这几段原文和问题一起给模型,要求只根据原文回答 ,并标出引用。没有命中,或检索分数不够时,直接说"资料里没有",不要让模型补全。
-
更新 :源文档一改,就重新切块,用新片段替换旧片段。过期文档要能下线。只追加、不删旧片段,库里会同时留下两个版本。
向量检索可以放在 Milvus、Qdrant,或 Postgres 的 pgvector 扩展里。它只是这条链路里的一块存储,换库很少能单独把效果拉上来。
向量检索可以放在 Milvus、Qdrant,或 Postgres 的 pgvector 扩展里。它只是这条链路里的一块存储,换库很少能单独把效果拉上来。
按规模选怎么搭
3 lines collapsed
| 公司内部知识库 | 用可自建的 Dify、FastGPT、RAGFlow、AnythingLLM,加上统一账号和权限。文档仍放在飞书、Confluence、Git 里,那里是可编辑的原文;知识库保存切块和索引,供检索使用。 |
| 要深度定制 | LlamaIndex 或 LangChain 写接入和检索,向量放 pgvector 或 Qdrant,生成接你们已有的模型 API。 |
Gemini Notebook 会保存一份文档副本,数据在 Google 一侧,适合个人试水。公司资料用上面这一行可自建的平台,并先确认当前版本的许可、以及原文会不会出域。Dify 若要开多个工作区,先核对自己所用版本的许可条款。
Gemini Notebook 会保存一份文档副本,数据在 Google 一侧 ,适合个人试水。公司资料用上面这一行可自建的平台,并先确认当前版本的许可、以及原文会不会出域。Dify 若要开多个工作区,先核对自己所用版本的许可条款。
建议先用现成平台跑通 50--200 篇核心文档。检索不准、引用乱、权限过不了关时,再拆出来自建。一上来自建,时间大多耗在解析 PDF 和运维上。
建议先用现成平台跑通 50--200 篇 核心文档。检索不准、引用乱、权限过不了关时,再拆出来自建。一上来自建,时间大多耗在解析 PDF 和运维上。
效果主要靠这些
-
资料先瘦身。 过期制度、草稿、聊天记录会把正确答案挤掉。一份文档一个主题,标题写清楚,表格和步骤保持结构,比换更强的模型有用。
-
混合检索 + 元数据过滤。 纯向量对产品名、工单号、错误码不稳;关键词补这一块。能按部门、产品线、生效日期先滤掉的,不要全库硬搜。
-
权限做在检索前。 按提问当时的身份过滤。检索结果里不能出现用户无权看的片段,生成阶段再过滤已经晚了。员工调岗后,下一次查询读新的身份即可,不必为他重做整库。
-
回答必须带来源。 每条结论对应原文链接或段落。没有命中时直接说"资料里没有",不要让模型补全。
-
留一个评测集。 挑 30--50 个真实问题,记下标准答案和应命中的文档或段落,再放进几道资料里没有的题、几道无权查看的题。改切块、改检索、换模型时用同一套题对比,分开看"该中的段落中了没有"和"答案有没有超出原文",否则只能凭感觉。
-
区分"找文档"和"做总结"。 制度、接口、排错适合检索后摘录;跨很多文档的综述要单独做摘要或主题索引,单次检索盖不住。
-
资料先瘦身。 过期制度、草稿、聊天记录会把正确答案挤掉。一份文档一个主题,标题写清楚,表格和步骤保持结构,比换更强的模型有用。
-
混合检索 + 元数据过滤。 纯向量对产品名、工单号、错误码不稳;关键词补这一块。能按部门、产品线、生效日期先滤掉的,不要全库硬搜。
-
权限做在检索前。 按提问当时的身份过滤。检索结果里不能出现用户无权看的片段,生成阶段再过滤已经晚了。员工调岗后,下一次查询读新的身份即可,不必为他重做整库。
-
回答必须带来源。 每条结论对应原文链接或段落。没有命中时直接说"资料里没有",不要让模型补全。
-
留一个评测集。 挑 30--50 个真实问题,记下标准答案和应命中的文档或段落,再放进几道资料里没有的题、几道无权查看的题。改切块、改检索、换模型时用同一套题对比,分开看**"该中的段落中了没有"和"答案有没有超出原文"**,否则只能凭感觉。
-
区分"找文档"和"做总结"。 制度、接口、排错适合检索后摘录;跨很多文档的综述要单独做摘要或主题索引,单次检索盖不住。
建议的起步顺序
-
圈定一个范围,例如「研发规范」或「某个产品的手册」,不要全公司文档一起倒进去。
-
用 Dify、RAGFlow 这类可自建的平台接上这些文档,打开混合检索和引用。
-
自己问两周,把答错的问题记下来。先查切块、标题和资料是否过期。这类错误换模型解决不了。
-
错题的原因比较集中之后,再补定时同步和评测集。试用的人都能看这些文档时,权限可以这一步再加;文档有密级差别时,权限过滤从接上文档就开始做。
-
这个范围稳定了,再复制到下一个知识域。不同域分开索引,比做一个巨型库更好控。
-
圈定一个范围,例如「研发规范」或「某个产品的手册」,不要全公司文档一起倒进去。
-
用 Dify、RAGFlow 这类可自建的平台接上这些文档,打开混合检索和引用。
-
自己问两周,把答错的问题记下来。先查切块、标题和资料是否过期。这类错误换模型解决不了。
-
错题的原因比较集中之后,再补定时同步和评测集。试用的人都能看这些文档时,权限可以这一步再加;文档有密级差别时,权限过滤从接上文档就开始做。
-
这个范围稳定了,再复制到下一个知识域。不同域分开索引,比做一个巨型库更好控。
常见失败是:什么都往里灌、没有负责人更新、不看引用就当答案用。知识库是检索系统,原文质量和更新机制比模型选型更决定能不能用。
常见失败是:什么都往里灌、没有负责人更新、不看引用就当答案用。 知识库是检索系统,原文质量和更新机制比模型选型更决定能不能用。