笔记整理：张婷，东南大学硕士，研究方向为自然语言处理
论文链接：https://arxiv.org/abs/2410.20724
发表会议：ICLR 2025
1. 动机
随着大规模语言模型（Large Language Models，LLMs）展现出强大的推理能力，但它们仍面临着信息错乱和知识过时的问题。为了弥补这一缺陷，基于知识图谱（Knowledge Graph，KG）进行的检索增强生成（Retrieved Augmented Generation，RAG）方法已经成为一种有效的策略，它通过在结构化外部知识库中寻找相关信息来解决这些问题。然而，现有的基于KG的RAG框架依然难以在检索效果与效率之间找到合适的平衡。针对该问题，作者提出了SubgraphRAG框架，创新地利用了轻量级的多层感知机（MLP）与并行三元组评分机制来高效地进行子图检索，并通过方向性结构距离编码（Directional Distance Encoding，DDE）增强了检索的有效性。此外，本方法通过灵活调整检索的子图大小，能够根据查询需求与下游LLMs的能力，灵活地调整检索结果。
2. 贡献
本文的主要贡献有：
1）通过MLP与并行三元组评分机制的结合，提高了子图的检索效率，同时保留了结构化的推理能力。
2）采用DDE来对三元组的结构关系进行建模，增强了多跳推理任务中的结构信息有效性。
3）提出了可以灵活调整检索子图大小的机制，以适应不同规模的LLMs，且无需微调，保证了在多种查询情况下的推理能力。
3. 方法
该方法框架由三大模块组成：主题实体提取、子图检索、LLM推理，如图1所示：
图1整体框架图
首先，从输入的查询中提取出相关的主题实体，这些实体是检索子图的核心信息来源。
然后，通过并行三元组评分机制，根据主题实体从知识图谱中检索出最相关的若干个子图，并进行组合。该检索器采用代理子图通过启发式方法，计算最大似然估计（MLE）使用弱监督信号进行训练，如公式（1）：
将子图分布按三元组独立因子化，对候选三元组独立给出被选中的概率并并行采样与排序，如公式（2）所示：
具体地，该过程的打分器是一个轻量级的MLP模型，分别从语义信息和结构信息两方面进行评分。
其中，语义信息的计算方式为将问题、三元组中的实体和关系的文本描述编码成向量，以显示它们在语义上是否匹配。
在结构信息的计算上，该论文引入方向性结构距离编码（Directional Distance Encoding，DDE）对三元组进行建模，来计算每个实体到"主题实体"的结构距离。具体地，对于每一个实体，通过公式（3）计算其多轮正反双向均值扩散，得到其实体签名：
然后，对签名拼接得到实体的表征，再把头、尾实体拼接，得到最终的三元组结构特征。
最后，将上一步得到的子图线性化，然后和问题一起，填充到一个设计好的提示模板中，输入LLM。LLM接收到这个包含"问题+证据"的提示后，开始推理并得到答案。
4. 实验
实验设计旨在系统地回答以下四个核心研究问题：
Q1（整体检索效果与效率）：SubgraphRAG 能否在满足低延迟要求的同时，有效地检索出相关信息？
Q2（复杂问题处理能力）：对于需要多跳推理和涉及多个主题实体的复杂问题，SubgraphRAG 能否有效整合结构信息进行检索？
Q3（问答任务性能）：SubgraphRAG 在知识图谱问答任务上的整体表现如何？哪些因素影响其准确性？
Q4（可解释性与抗幻觉能力）：该框架能在多大程度上为答案提供有效的、基于知识的解释，从而减少幻觉？
实验设置使用了WebQSP和CWQ两个具有挑战性的多跳推理数据集，评估了SubgraphRAG在复杂查询中的表现。并且对数据集分别去除答案不在KG中的样本，得到子集WebQSP-sub 和CWQ-sub用于评估无幻觉问答能力。
表1为检索实验的结果，它显示SubgraphRAG 在所有召回率指标上均显著且一致地优于所有基线方法。在效率上，SubgraphRAG 仅比最简单的余弦相似度基线稍慢，但比其他检索方法快一至两个数量级。回答了Q1和Q2。
表1检索性能实验结果
表2和表3为问答实验的结果，它显示SubgraphRAG 在数据集及其子集上达到SOTA或具有竞争力的精度。回答了Q3和Q4
表2问答实验结果
表3问答实验结果
此外，论文还设置了问题的跳数实验等实验，进一步说明了该方法在多跳问题上的优势。并且，通过对检索结果深入分析，验证了检索证据的可解释性与可靠性。
5. 总结
在知识图谱与大语言模型相结合的检索增强生成框架中，如何平衡检索效率与推理能力一直是关键挑战。本文提出的SubgraphRAG框架，通过引入创新的子图检索与推理机制，有效解决了这一问题。该框架采用轻量级多层感知机与并行三元组评分机制，实现了高效且灵活的子图检索，并结合方向性距离编码以增强结构感知能力，从而在检索阶段即可捕捉多跳推理所需的关键路径。实验结果表明，SubgraphRAG在WebQSP和CWQ等多跳知识问答基准测试中表现卓越，不仅显著提升了答案的准确性与可解释性，还在效率上优于传统基于路径或迭代检索的方法。尤为值得注意的是，SubgraphRAG在不进行任何模型微调的情况下，仅通过提示工程与上下文学习，即可使中小规模模型（如Llama3.1-8B）达到与GPT-4o等大型模型相媲美甚至更优的性能，展现出强大的泛化能力与实用性。此外，SubgraphRAG还具备良好的可扩展性与适应性，能够根据不同下游模型的推理容量动态调整子图规模，有效缓解了信息冗余与中间迷失问题。其在减少幻觉生成、增强答案可解释性方面的优势，进一步验证了该框架在实际应用中的高可靠性与广泛适用潜力。
OpenKG
OpenKG（中文开放知识图谱）旨在推动以中文为核心的知识图谱数据的开放、互联及众包，并促进知识图谱算法、工具及平台的开源开放。
点击阅读原文 ，进入 OpenKG 网站。