KohakuRAG:层次化RAG的新范式

复制代码
https://github.com/kohaku-lab/KohakuRAG
KohakuRAG: A simple RAG framework with hierarchical document indexing  
https://arxiv.org/pdf/2603.07612

一、RAG的三大痛点

检索增强生成(RAG)已成为解决大模型幻觉和知识时效性的标准方案,但在高精度引用场景中,传统RAG面临三重挑战:

痛点 具体问题
结构丢失 扁平分块破坏文档层级,难以精准定位引用来源
词汇鸿沟 用户问"PUE",文档写"power usage effectiveness",单查询检索漏检
答案不稳定 单次推理结果随机波动,引用选择不一致

WattBot 2025挑战赛 正是检验这些痛点的试金石:32篇AI能耗技术文档(约50万token),回答300道技术问题,要求数值误差≤0.1%、引用精确、证据不足时主动弃权。KohakuRAG以0.861分夺得公私榜双第一,且是唯一保持双榜第一的团队。

二、方案:三层架构破解难题

KohakuRAG提出层次化索引 + 多查询检索 + 集成推理的三层架构:

2.1 层次化索引:保留文档结构

将文档解析为四级树结构(文档→章节→段落→句子),自底向上聚合embedding:

  • 句子节点:直接编码

  • 上层节点:子节点长度加权平均

优势:天然提供多粒度引用边界,段落/章节级embedding捕获组合语义。

📊 Table 1 显示:Jina v4多模态embedding(+图片)在k=16时达到0.890,比纯文本提升6.6pp

2.2 多查询检索:弥合词汇鸿沟

LLM查询规划器将问题扩展为n个语义相关查询(如"PUE"扩展为"Power Usage Effectiveness"、"energy efficiency ratio"),每个查询独立检索Top-K。

跨查询重排序:利用共识信号------被更多查询命中的节点排名更高。支持三种策略:

  • Frequency:按命中查询数排序

  • Score:按累计相似度排序

  • Combined:归一化后加权融合

2.3 集成推理:稳定答案输出

执行m次独立推理,通过弃权感知投票聚合:

  • ignore_blank=true:过滤弃权响应后再投票(防止保守运行主导)

  • AnswerPriority:先投票选答案,再从匹配答案的运行中收集引用

重试机制:当模型因证据不足弃权时,自动扩大Top-K重新检索,解决26.8%的"不必要弃权"错误。

三、结论:关键发现与数据验证

3.1 消融实验亮点

组件 关键发现 提升幅度
Prompt重排序 上下文放问题前(C→Q)vs 标准顺序(Q→C) **+80%**(k=4时0.418→0.752)
重试机制 解决不必要弃权 **+69%**(k=4时0.488→0.827)
集成投票 ignore_blank过滤 +1.2pp (n=9时0.882→0.894)
BM25混合 层次化稠密检索已足够强 仅+3.1pp

📊 Table 2 完整数据:Prompt重排序在k=4/8/16均显著优于标准顺序(p<0.05)

3.2 榜单表现

Table 5 - Leaderboard

配置 公榜 私榜 特点
GPT-oss-120B 7-ensemble + BM25 0.862 0.857 最稳定(分差仅0.5%)
Gemini-3-pro + 图片 0.901 0.839 单轮最高但波动大(-6.2%)
Top-5混合集成 0.902 0.861 双榜第一

核心洞察:集成方法显著提升跨分布稳定性。单模型Gemini虽公榜最高,私榜暴跌6.2%;而KohakuRAG的跨模型集成融合Gemini视觉能力与GPT-oss文本理解,实现鲁棒泛化。

3.3 错误分析启示

对2,583次预测的错误分解:

  • 不必要弃权(26.8%)→ 重试机制直接针对

  • 引用不匹配(23.6%)→ 未来方向:引用约束解码

  • 数值选择错误(22.2%)→ 需更精细的查询分解

总结

KohakuRAG证明:结构感知索引 + 多查询覆盖 + 集成稳定性是高精度RAG的三驾马车。其开源实现为技术文档问答提供了即插即用的解决方案,尤其在需要精确引用和数值准确性的场景中表现卓越。

相关推荐
百度Geek说10 小时前
从代码生成到需求交付:DarkFactory 的工程实践
人工智能
Baihai_IDP10 小时前
使用场景不同,模型“推理速度慢”的原因也不同
人工智能·面试·llm
挖掘狂人10 小时前
AI 三分钟写完的代码,你凭什么敢直接上线?
人工智能·程序员·ai编程
墨林陌10 小时前
AI 热点日报(2026-11-20):苹果自研 AI 智能体曝光,Anthropic 上市首日大涨,智能体支付落地
人工智能
AAA修煤气灶刘哥10 小时前
32 GB 内存跑起 1800 亿参数模型,代价是什么?
人工智能·后端·架构
玩美数据10 小时前
海外市场数据分析驱动下的产业趋势演变与竞争格局深度解读
大数据·人工智能
oil欧哟11 小时前
Oil Studio 的产品思路与日常使用方式:在 Mac 上录口播演示,并接入 AI Agent 精剪与自动录屏
人工智能·macos
攒了一袋星辰11 小时前
AI 求职长期记忆原理解析:从碎片经历到贝叶斯能力星图
知识图谱·agent·rag·ai工程·校招面试
意念回复11 小时前
从 RNN 到 GQA:自注意力与多头注意力机制全解析
人工智能·rnn·深度学习
Flynn Liang11 小时前
AI Agent 分层记忆体系实战:用 Redis 五类结构构建可淘汰、可追溯的长短期记忆
数据库·人工智能·redis