万字拆解:零向量库、无模型微调,SAG2 凭什么刷新多跳问答 SOTA

做 AI 知识库私有化交付这两年,我们遇到过一个非常现实的矛盾:

很多政企、制造业客户的内网环境算力非常有限,甚至没有 GPU,纯向量 RAG 方案一部署,光建库就要跑十几个小时,查询还要占用大量算力做 Embedding,体验卡顿、运维复杂,客户用起来很痛苦。

更尴尬的是,在大量专业领域场景里,向量检索的效果并没有想象中惊艳------设备编号、项目代号、合同号、制度文号这类专有名词,纯语义匹配经常找不准,反而不如最简单的关键词搜索来得准。

也是在这样的背景下,SAG2 这条技术路线开始走进我们的视野。它不走「向量嵌入 + 语义相似度」的老路,而是基于 BM25 词法检索 + Jev 决策模型,在查询时动态完成多跳证据扩展,全程不需要预训练向量,不需要提前构建全局知识图谱,普通 CPU 就能跑,建库速度快到秒级。

SAG-Wiki 则是这套算法的落地开源产品,用 Rust + Tauri + Svelte 构建,纯本地运行,知识库就是普通文件夹,把「轻量化、可解释、零算力依赖 」做到了极致。

今天这篇文章,站在 AI 创业者和一线交付的视角,完整拆解 SAG2 的设计哲学、技术架构、核心流程、落地价值与能力边界,也讲清楚:它到底能解决什么问题,什么样的场景最适合用,它的天花板又在哪里。

一、行业困局:纯向量 RAG 在轻量化场景的四个死穴

这两年向量 RAG 几乎成了知识库的标准答案,但越往落地走越会发现,它不是万能的。在本地、低算力、专业领域场景里,纯向量路线的短板非常突出。

1. 建库成本高,轻量环境跑不动

传统向量 RAG 的第一步,就是把所有文档切片、调用 Embedding 模型生成向量,再写入向量数据库,算力和时间成本都很高。一份几百页的手册生成向量可能要几十分钟;上万份文档的知识库,建库动辄几个小时起步。如果是没有 GPU 的普通服务器、国产信创环境、个人本地设备,建库慢、查询慢,体验直接对折。更不用说向量数据库本身就是一套运维负担,对小团队、轻量场景来说,为了一个知识库单独维护一套向量数据库,投入产出比太低。

2. 专业领域不准,专有名词匹配弱

在制造、法务、政务这类专业场景里,大量信息靠编号、代号、专有名词串联:设备型号、合同编号、项目代号、文件文号。向量检索算的是语义相似度,很容易把字面不同、语义相近的内容混在一起,反而把字面完全匹配的专有名词排到后面。

我们在制造业项目里就多次遇到:搜具体的设备编号,向量检索排在前面的是语义相关的其他设备,精确匹配的结果反而靠后,客户非常困惑。很多时候一线运维人员找资料就是靠关键词、编号去搜,向量检索反而把简单问题复杂化了。

3. 多跳推理依赖大模型,慢且不可控

纯向量 RAG 做不了真正的多跳推理。遇到需要跨文档、跨实体串联的问题,只能靠大模型自己从片段里脑补关系,不仅准确率低,还容易产生幻觉。后来出现的各类 GraphRAG 方案虽然提升了多跳能力,但要么需要提前抽取实体构建全局图谱、建库成本更高;要么需要多轮调用大模型做迭代检索、速度慢、Token 成本高。对于轻量场景、离线环境来说,这种重型多跳方案根本用不起来。

4. 检索过程黑盒,可解释性差

向量检索为什么召回这几段、为什么排在前面,普通人很难看懂。相似度分数是个抽象数值,用户不知道答案是怎么来的,出了错也很难定位原因。在合规要求高的场景里,客户会问:你这个结论是从哪搜出来的?为什么是这几段?纯向量方案很难给出清晰、可理解的证据链。

这四个问题,换更好的 Embedding 模型、优化切片策略,只能小幅度改善,解决不了本质。因为根源在于:不是所有场景都需要语义向量,也不是所有场景都承担得起重型图谱的成本。市场需要一条更轻、更快、更可控的检索路线------SAG2 就是在这个方向上的代表性方案。

二、范式转移:从「预计算语义匹配」到「查询时动态词法多跳」

SAG2 的核心设计思想,一句话概括:不预计算向量、不预建全局图谱,靠词法检索 + 决策模型在查询时动态完成多跳证据扩展,用极低的成本实现高质量的多跳检索。

打个最通俗的比方:传统向量 RAG 像是提前把所有书都做成内容摘要卡片,你提问,它按卡片相似度给你找书。好处是语义模糊查询好用,坏处是做卡片费时间、专有名词经常对不准,而且卡片之间没有关联,串不起来。SAG2 更像是一个经验丰富的资料管理员:你提一个问题,他先快速找出一批相关段落;再从这些段落里提取关键名词,继续查找更多相关段落;反复几轮,把完整的证据链串起来,最后整理出答案。整个过程不需要提前给所有内容打标签,也不需要懂语义,就是靠关键词、专有名词一步步串联,快、准、可解释。

它的核心假设非常反常识,也非常有意思:知识库中的多跳推理,很多时候不是靠语义相似度串联,而是靠专有名词、标识符、编号这类精确词法单元串联。 这个假设恰恰命中了绝大多数企业内部知识库的真实情况:项目靠项目号串联、设备靠型号串联、合同靠编号串联、制度靠文号串联。这些都是精确的词法匹配,不是模糊的语义相似。

和传统方案相比,核心差异体现在四个维度:

  • 建库方式不同 :向量 RAG 需要预计算 Embedding,SAG2 只需要构建 BM25 倒排索引,速度快几个数量级;
  • 多跳实现不同 :向量 RAG 靠大模型脑补,GraphRAG 靠预建图谱,SAG2 在查询时动态扩展,零前置成本;
  • 算力要求不同 :向量方案重度依赖 GPU/算力,SAG2 纯 CPU 就能跑;
  • 可解释性不同 :向量检索是黑盒相似度,SAG2 每一跳的关键词、来源段落都清晰可见。

这不是要替代向量 RAG,而是开辟了一条新的路线。在专业领域、本地场景、低算力环境下,SAG2 反而比重型向量方案更实用、更准确、成本更低。

三、五层核心架构:极简设计下的精密逻辑

SAG2 的整体架构非常克制,没有复杂的组件堆叠,五层结构各司其职,全部围绕「轻量、快速、可控」设计。

第一层:文档预处理与倒排索引层

这是整个系统的基础。文档解析切块支持 PDF、DOCX、TXT 等常见格式,清洗后切分成合适大小的段落(默认目标约 512 字符,保留完整句子);对段落分词(中文走 Jieba),基于 BM25 算法构建倒排索引(SQLite FTS5 )。计算量极小、速度极快。索引和原始文档都存在本地,不需要额外数据库服务------SAG-Wiki 里甚至就是一个普通文件夹加一个 SQLite 文件。这一层最大的特点就是快:传统向量方案建库瓶颈在 Embedding 计算,SAG2 建库只有分词和建倒排,大文档也能秒级完成。

第二层:BM25 初筛层

用户发起查询后,第一步不是找向量,而是用 BM25 做第一轮词法检索,召回初始候选段落集合。BM25 是工业界用了几十年的经典检索算法,基于词频、逆文档频率计算相关性,对精确关键词、专有名词的匹配非常准,计算极快。这一步的目标不是一步到位找到所有答案,而是快速圈定一个初始范围,作为后续多跳扩展的起点。

第三层:关键词提取与 Jev 决策层

这是 SAG2 最核心的创新层,也是实现动态多跳的关键。从初始候选段落里提取潜在的关键词、专有名词、标识符,作为下一跳的候选扩展词;由 Jev 决策模型判断哪些关键词有资格作为桥梁继续扩展检索、哪些是无关词汇应被过滤掉。Jev 模型不是大模型,是轻量化的打分决策模型,计算成本极低、不需要 GPU,查询时实时计算也不会有明显延迟。这一步设计得很巧妙:没有用大模型去做实体抽取和关系判断,而是用轻量决策模型筛选扩展词,既保证多跳能力,又把算力开销压到最低。

第四层:多跳迭代与聚合层

经过 Jev 筛选后的关键词发起新一轮 BM25 检索,召回更多相关段落;新的段落又提取新候选关键词,进入下一轮判断和扩展。整个过程迭代进行:每一轮把新召回段落和历史段落合并、重新评估关键词扩展价值;达到设定的最大跳数,或没有新的有效关键词时迭代停止。迭代结束后用 Jev 模型对所有召回段落统一打分排序,剔除无关内容,留下最终证据集合。整个多跳过程完全在查询时动态完成,不需要提前构建任何图谱结构,这是它和传统 GraphRAG 最本质的区别。

第五层:答案生成与溯源层

最终筛选出的段落集合提交给大模型生成答案。和其他方案最大的不同是证据链极其清晰:每一段内容来自哪个文档、哪个位置明确标注;每一跳是通过哪个关键词扩展出来的路径完整可追溯;用户可以沿着关键词路径反向还原整个检索推理过程。对于合规要求高的场景,这种可解释性价值巨大。

四、六步工作闭环:一次查询的完整旅行

① 文档分词建索引

文档上传后完成解析、清洗、切块,分词后构建 BM25 倒排索引。全程不涉及向量计算、不调用大模型,纯词法处理。小文档几乎瞬间完成,几百页的大型文档也只需要几秒到几十秒,和向量 RAG 的建库速度有数量级差距。

② 查询初筛召回

用户输入问题,系统先用 BM25 做第一轮检索,召回 Top N 个相关段落,形成初始候选集。目标是快速找到第一批相关材料,不求全、但求准。

③ 候选关键词提取

从初始候选段落中提取潜在的实体、专有名词、编号、术语等关键词,作为下一跳的候选桥梁。基于词法特征和统计特征即可完成,不需要复杂实体抽取模型,开销极低。

④ Jev 判定扩展

Jev 决策模型对每一个候选关键词打分,判断它是否值得作为扩展词继续检索。这是整个系统的大脑:好的扩展词能串联起更多相关证据,差的扩展词会引入噪音。Jev 模型的判定精度直接决定多跳检索的最终效果。

⑤ 多跳迭代聚合

通过判定的关键词发起新一轮检索、召回新段落,重复「提取关键词 → Jev 判定 → 扩展检索 」的流程。每一轮合并结果、去重、过滤,直到达到最大跳数或没有新的有效关键词。所有召回段落经统一打分排序,形成最终证据段落集合。

⑥ 带证据链生成答案

将最终证据段落提交给大模型生成答案,输出时附带完整溯源信息:来源文档、段落位置,以及多跳扩展的关键词路径。如果证据不足,系统会明确告知,不会强行生成不可靠内容。

整个流程下来,没有预计算向量、没有预建图谱、没有多轮大模型调用,绝大部分工作是轻量词法计算和决策模型打分。这也是它能在纯 CPU 环境下流畅运行,甚至个人电脑本地跑也毫无压力的原因。

五、五大核心技术亮点:为什么它值得关注

1. 零向量嵌入,建库速度碾压级优势

传统向量 RAG 建库的时间 90% 都耗在 Embedding 计算 上,文档越多、越大差距越明显。

SAG2 全程不需要向量嵌入,只需构建 BM25 倒排索引。官方数据和我们自己的测试都显示,同等文档量下建库速度是向量方案的几十到上百倍。对经常更新文档、需要频繁重建索引的场景,这个优势是决定性的。

2. 查询时动态多跳,无需预建图谱

很多人对多跳检索的印象是"必须提前抽取实体、构建知识图谱"。SAG2 打破了这一点:多跳不一定需要预建图谱,可以在查询时动态完成。好处很明显:没有额外建库成本、文档入库即用;不会因为图谱抽取错误引入系统性偏差;文档更新后不需要单独更新图谱;跳数、扩展策略可查询时灵活配置。

3. 专业领域准确率高,专有名词友好

这是最容易被忽略、但落地价值最大的一点。在企业内部、工业制造、政务法务等场景,大量信息靠编号、代号、专有名词串联。向量检索经常在这类内容上失准,而 BM25 词法检索擅长精确匹配。

官方在 MuSiQue、2WikiMultiHopQA、HotpotQA 等多跳数据集上的测试结果也印证了这一点------三个数据集各 1000 题、指标为证据召回率 Recall@10,SAG2 全部排在对比方法第一位。这个成绩放在纯词法路线里是非常惊人的。

4. 全链路可解释,证据链清晰可追溯

的检索过程完全白盒:为什么召回这段?因为命中了哪些关键词;为什么扩展这个词?Jev 打分多少;答案是通过哪几个关键词一步步串起来的------全部都有明确记录。

用户不仅能看到来源文档,还能看到完整的推理路径。对于合规、审计、法务类场景,这种可解释性是刚需。

5. 极致轻量化,低算力环境友好

不需要 GPU,普通 CPU 就能流畅运行;不需要独立部署向量数据库,减少运维组件;资源占用低,低配置服务器、国产芯片环境也能跑;纯本地运行,数据完全不出域。

官方口径下安装包约 14 MB ,不需要额外装数据库;百万字规模索引约 200 ms 。我们估算过,对中等规模的企业知识库,用 SAG2 路线替代纯向量方案,硬件成本可以下降 60% 以上,运维复杂度也大幅降低。对很多预算有限、算力条件一般的客户,这不是体验提升,是能用和不能用的区别。

六、创业者视角:落地价值与 ROI 测算

1. 交付成本大幅下降,轻量项目利润更高

过去做轻量知识库项目,哪怕客户只有几十上百份文档,也要上向量数据库、配推理资源,小项目很难赚钱。 基于 SAG2 路线做轻量版知识库,不需要向量库、不需要 GPU,普通服务器甚至 PC 就能跑,实施周期短、运维成本低。尤其对大量部门级、团队级知识库场景,轻量化方案性价比远高于重型向量 RAG。

2. 信创与低算力场景的差异化竞争力

很多政企、制造业项目要求国产化环境,国产芯片算力普遍不算强,纯向量方案跑起来很吃力。

SAG2 这种 CPU 友好、低算力依赖的方案,在信创项目里天然有优势:别人跑不动的场景你能跑,别人卡顿时你流畅,这就是差异化竞争力。目前这还是一片蓝海。

3. 本地知识库产品的最佳底座

个人本地知识库、团队内网知识库,核心诉求就是快、轻、不依赖服务端。SAG2 + 本地桌面端 的组合,几乎是目前最优的技术路线之一:建库快、检索快、不占资源、不需要联网、数据完全本地。

SAG-Wiki 选择用 Tauri + Rust 做桌面端,也是看准了这个方向。

4. 混合检索方案的重要拼图

当然不是说要完全替代向量 RAG。​编辑

更成熟的做法是做双引擎:精确查询、专有名词、多跳推理走 SAG2 路线;模糊语义、开放域问题走向量 RAG;由路由层判断问题类型,自动选择最优检索引擎。

单一向量方案的时代正在过去,分层混合检索是下一代知识库的明确趋势。

5. 送给 Agent 的检索底座:一条命令、六个只读工具

SAG-Wiki 提供独立 CLI(npm install -g @zleap-ai/sag ),装过桌面端就和 CLI 共用同一份配置和知识库。把 Skill 链接发给 Claude Code、Codex 或 OpenCode,Agent 就能按 setup 流程自动配好。

配好之后,Agent 通过内置 MCP 获得六个只读工具:search(完整 SAG2 检索,返回带位置和引用编号的片段)、list、read (按字符偏移读原文)、grep (字面匹配)、getTime、calculate。全部只读、进程内 MCP,不开放端口、不会写入移动删除原文件。

七、选型指南:哪些场景值得用,哪些场景要谨慎

✅ 非常推荐的场景:

  • 本地个人/团队知识库:追求轻量、快速、数据本地,SAG2 路线体验极佳;
  • 专业领域知识库:制造、法务、政务等专有名词、编号密集的场景,词法匹配比向量更准;
  • 低算力/信创私有化项目:没有 GPU、国产芯片、算力有限的环境,SAG2 几乎是最优解之一;
  • Agent 长周期任务:研究表明,Agent 运行长周期任务时,简单词法匹配的效果往往优于向量检索;
  • 合规要求高的场景:需要完整证据链、检索过程可解释可追溯,白盒的 SAG2 比黑盒向量更让人放心。

一句话总结:专业领域、本地场景、低算力环境,SAG2 是性价比极高的选择;开放域、强语义、超大规模场景,更适合和向量 RAG 搭配使用。

八、横向对比:三类检索路线的优劣势

三条路线没有绝对的优劣,只有适合不适合:

​

  • 追求通用语义体验,选向量 RAG;
  • 追求复杂多跳准确率、有算力条件,选向量 + 图谱;
  • 追求轻量快速、专业领域、低算力,选 SAG2。

对于成熟的企业级产品,最优解一定是多引擎混合:根据问题类型自动路由到最合适的检索引擎,兼顾语义广度和专业精度。SAG2 的出现不是要取代谁,而是补上了「轻量化专业多跳」这块之前的空白。

九、客观看待边界:它不是银弹

1. 语义泛化能力天然较弱

这是词法路线的天生短板。同一个意思、不同的表述方式,SAG2 很难识别出来。如果文档里的用词和用户提问的用词差异很大,召回率会明显下降。它擅长的是「靠专有名词串联」的场景,不擅长「同义表述、模糊语义」的场景。

2. 开放域多跳容易断链

SAG2 的多跳依赖关键词桥梁。如果文档之间没有共同的专有名词、编号作为衔接,多跳就进行不下去。在开放域、百科类知识库中,文档用词差异大、缺少统一标识符,SAG2 的多跳效果会打折扣。它更适合内部统一术语的企业知识库。

3. Jev 模型的判定精度决定上限

整个多跳过程的质量很大程度取决于 Jev 模型能不能准确筛选扩展词。选对了扩展词,证据链越串越完整;选错了,就会引入噪音甚至跑偏。目前在专业领域表现很好,但在更广泛场景下判定精度还有提升空间。

4. 不能替代完整的知识图谱能力

SAG2 的动态多跳和完整的知识图谱不是一回事。它能做证据级的关联扩展,但做不到复杂的图谱推理、实体属性计算、批量关系分析。如果你的需求是构建完整的企业知识图谱、做深度关系挖掘,还是需要专业的图谱方案。

5. 最佳实践是混合,不是替代

我们的建议很明确:不要用 SAG2 完全换掉向量 RAG,而是把它作为检索体系的一部分。路由层判断问题类型:精确查询、编号查询、多跳推理走 SAG2;模糊语义、开放问题走向量。双引擎互补,才能得到最好的综合效果。

写在最后

做知识库这两年,我有一个很深的感受:行业正在从「唯向量论」里走出来,越来越理性。大家开始意识到,不是越复杂的技术就越好,不是所有场景都需要语义向量。检索的本质是找对信息,用最低的成本、最可靠的方式找到答案,才是最终目的。

SAG2 这条路线的价值恰恰就在这里:它没有堆复杂的概念,没有绑定重型算力,而是回到词法本身,用精巧的设计实现了高质量的多跳检索,把「轻、快、准、省」做到了极致。它不是要取代向量 RAG,而是给了我们另一个非常趁手的工具。在专业领域、本地场景、低算力环境里,它甚至是更优解。

对于做 AI 产品和交付的我们来说,多掌握一条技术路线,就多了一份应对不同客户需求的底气。重型项目有重型方案,轻型项目有轻型方案,合适的才是最好的。

未来的企业知识库,一定是多引擎、分层级的混合检索体系。如果你也在做本地知识库、私有化交付,或者被向量 RAG 的算力成本和专业场景准确率困扰,或对这套词法多跳方案有想交流的实现细节,欢迎一起探讨。

相关推荐
黑土豆20 分钟前
用 drawink 给业务页面加一层画板:从网页批注到无限板书
前端·javascript·github
恋猫de小郭1 小时前
Flutter 3.50.0 Release 的第一个崩溃,修好了,还没 hotfix
android·前端·flutter
IT_陈寒15 小时前
Redis那个过期删除策略,差点让我线上崩了
前端·人工智能·后端
jianqiang.xue15 小时前
Espressif-IDE进入维护模式:乐鑫把ESP32开发的宝押给VS Code
前端·css·ide
特创数字科技16 小时前
纯本地离线运行的文档脱敏工具(技术分享)
前端·驱动开发·python
心之语歌16 小时前
uni-app uts原生插件开发:uts 与 Kotlin 交互踩坑实录(附解决方案)
前端·后端
再吃一根胡萝卜16 小时前
DSH 插件数据链路:Host 管数据,Client 只管画
前端
feixing_fx16 小时前
CSS 变量(Custom Properties):构建可扩展的主题切换系统
前端·css·前端框架·html·css3
dong_junshuai17 小时前
每天一个开源项目#159 Plannotator:把Agent审阅做成异步消息
github