【KG+RAG 论文】医学知识图谱检索增强 LLM 的框架 —— KG-RAG

论文:Biomedical knowledge graph-enhanced prompt generation for large language models

⭐⭐⭐

Code:github.com/BaranziniLab/KG_RAG

文章目录

论文速读

这篇论文提出了 KG-RAG 的框架,使用医学知识图谱(SPOKE)来对 LLM 进行检索增强。

该框架的运行效果如下图:

上图中,黄色部分是用户问题,蓝色部分是 GPT-4 的原生回答,绿色部分是经过 KG-RAG 框架处理后生成的回答。左边的 (A) 是一个关于一跳推理的问题,右边的 (B) 是一个关于两条推理的问题。

可以观察到,KG-RAG 可以解决这个单跳和双跳的问题,并且相比于 GPT-4,可以提供更加简单明了的答案。

工作过程:KG-RAG 框架的基本工作原理如下:

  1. 实体识别与实体链接:根据用户的问题,使用 LLM 做问句中的疾病实体识别,再对识别的结果对 KG 进行实体链接的检索,得到 KG 中相应的节点(即疾病的节点)
  2. 上下文提取(Context pruning):从 KG 中召回与这个实体相关联子图,再基于 embedding 计算语义相似度从子图中过滤出有用的三元组,之后再将这些三元组将其转换为自然语言
  3. 提示组装与文本生成:把上一步得到的自然语言,与 question 拼在一起,组合为 prompt,再加上 SYSTEM_PROMPT,送给 LLM 来回答,从而获得最终答案

模型效果

可以看到,在 KG-RAG 框架下,各 LLM 的表现都有提升。

总结

这篇文章提出的框架是一个结合 KG 来做 RAG 的有效方案,但当用于工业落地时,仍会存在很多问题:

  • 实体识别使用了 LLM,之后又做了 entity link,这样的效率肯定不太高。
  • 为了从召回子图过滤出有用的三元组,这里需要专门的 embedding 模型去做
  • 从关联子图 -> 自然语言这一步,也存在很多坑

这篇文章的工作主要是在医学领域结合 KG 来实现 RAG,但在其他领域,需要结合实际的场景去定制具体的策略。

相关推荐
数据知道15 分钟前
机器翻译的分类:规则式、统计式、神经式MT的核心区别
人工智能·分类·机器翻译
siliconstorm.ai16 分钟前
AWS 算力瓶颈背后:生成式 AI 的基础设施战争
大数据·人工智能·chatgpt
paid槮17 分钟前
机器学习——逻辑回归
人工智能·机器学习·逻辑回归
Debroon1 小时前
大模型幻觉的本质:深度=逻辑层次,宽度=组合限制,深度为n的神经网络最多只能处理n层逻辑推理,宽度为w的网络无法区分超过w+1个复杂对象的组合
人工智能·深度学习·神经网络
星夜Zn2 小时前
生成式人工智能展望报告-欧盟-04-社会影响与挑战
论文阅读·人工智能·大语言模型·发展报告·ai社会影响
余俊晖2 小时前
图像、视频、音频多模态大模型中长上下文token压缩方法综述
人工智能·音视频
LetsonH2 小时前
⭐CVPR2025 FreeUV:无真值 3D 人脸纹理重建框架
人工智能·python·深度学习·计算机视觉·3d
蹦蹦跳跳真可爱5892 小时前
Python----大模型(大模型微调--BitFit、Prompt Tuning、P-tuning、Prefix-tuning、LORA)
人工智能·python·深度学习·自然语言处理·transformer
小杨勇敢飞2 小时前
大语言模型的解码策略:贪婪解码与波束搜索
人工智能·语言模型·自然语言处理
喵王叭2 小时前
【大模型核心技术】Agent 理论与实战
人工智能·langchain