论文浅尝 | HippoRAG:神经生物学启发的大语言模型的长期记忆(Neurips2024)

笔记整理:陈少凯,浙江大学硕士生,研究方向为知识图谱、RAG

论文链接:https://arxiv.org/pdf/2405.14831

发表会议:Neurips 2024

1. 动机

虽然近年来大语言模型(LLM)的研究取得了很大进展,但持续更新的长时记忆在当前的人工智能系统中仍然有明显缺陷。检索增强生成(RAG)已经成为LLMs长时记忆的解决方案,然而,当前的RAG方法仍不能帮助LLM执行需要跨段落边界集成新知识的任务,因为每个新段落都是孤立编码的。

许多重要的现实世界任务,例如科学文献综述、医学诊断等任务,需要跨段落或文档的知识集成。为了解决此类任务,当前的RAG系统采取迭代地使用多个检索和LLM生成步骤来连接不同的段落。相比之下,人脑能够相对轻松地解决这些具有挑战性的知识整合任务。

2. 贡献

本文的核心贡献主要如下:

(1)首先,提出了一种RAG框架HippoRAG,通过模仿人类记忆来作为LLM的长期记忆。

(2)其次,HippoRAG协同LLM、知识图谱和个性化PageRank算法,以模拟新皮质和海马体在人类记忆中的不同作用。

(3)最后,HippoRAG在多跳问答任务中优于现有的RAG方法,使用HippoRAG的单步检索实现了与IRCoT等迭代检索相当或更好的性能。

3. 方法

模型的整体架构如下:

主要分为两个阶段,具体如下:

**(1)离线索引阶段:**索引阶段类似于记忆编码的过程,包括使用指令微调的LLM和检索编码器来处理一组段落。具体来说,从每个段落中提取一组命名实体,然后将命名实体添加到OpenIE提示符中,以提取最后的三元组。

****(2)**在线检索阶段:**检索阶段类似于人脑的记忆检索过程,这三个相同的组件然后被用来通过镜像人脑的记忆检索过程来执行在线检索。正如海马体接收通过新皮层和PHR处理的输入一样,我们的基于LLM的新皮层从查询中提取一组查询命名实体。然后,这些命名实体根据检索编码器确定的相似性链接到KG中的节点;我们将这些选定的节点称为查询节点。一旦查询节点被选中,它们就成为我们的合成海马体执行模式完成的部分线索。在海马体中,海马指数元素之间的神经通路使相关的邻近区域被激活并被上游召回。为了模仿这种高效的图搜索过程,我们利用了个性化PageRank算法,汇总先前索引的段落的输出PPR节点概率,并使用该概率对它们进行检索排序。

4. 实验

该实验主要在两个多跳QA benchmark(MusiQue和2WikiMultiHopQA)以及HotpotQA数据集上评估HippoRAG的检索能力;为了限制实验成本,从每个验证集中提取了1000个问题,三个数据集的具体信息如下所示:

单步检索性能比较:

多步检索性能比较:

消融实验(不同抽取方法):

5. 总结

本文提出的神经生物学原理的方法HippoRAG,虽然简单,已经显示出克服标准RAG系统的固有局限性,同时保留其参数记忆的优势。HippoRAG的知识集成能力,为LLM的长时记忆提供了可信的解决方案。然而,在未来的工作中可以解决目前工作的一些限制,使HippoRAG能更好地实现这一目标,比如通过执行特定组件微调来提高本方法的实际可行性。


OpenKG

OpenKG(中文开放知识图谱)旨在推动以中文为核心的知识图谱数据的开放、互联及众包,并促进知识图谱算法、工具及平台的开源开放。

点击阅读原文 ,进入 OpenKG 网站。

相关推荐
THMAIL3 分钟前
深度学习从入门到精通 - 迁移学习实战:用预训练模型解决小样本难题
人工智能·python·深度学习·算法·机器学习·迁移学习
音视频牛哥9 分钟前
AI+ 行动意见解读:音视频直播SDK如何加速行业智能化
人工智能·音视频·人工智能+·ai+ 行动意见·rtsp/rtmp 播放器·低空经济视频链路·工业巡检视频传输
roman_日积跬步-终至千里10 分钟前
【软件架构设计(19)】软件架构评估二:软件架构分析方法分类、质量属性场景、软件评估方法发展历程
人工智能·分类·数据挖掘
镭眸43 分钟前
因泰立科技:用激光雷达重塑智能工厂物流生态
大数据·人工智能·科技
阿豪Jeremy1 小时前
使用MS-SWIF框架对大模型进行SFT微调
人工智能
慧星云1 小时前
双节模型创作大赛开赛啦:和魔多一起欢庆中秋国庆
人工智能·云计算·aigc
爆改模型1 小时前
【ICCV2025】计算机视觉|即插即用|ESC:超越Transformer!即插即用ESC模块,显著提升图像超分辨率性能!
人工智能·计算机视觉·transformer
带娃的IT创业者1 小时前
《AI大模型应知应会100篇》第69篇:大模型辅助的数据分析应用开发
人工智能·数据挖掘·数据分析
小胖墩有点瘦1 小时前
【基于yolo和web的垃圾分类系统】
人工智能·python·yolo·flask·毕业设计·课程设计·垃圾分类
bylander1 小时前
【论文阅读】自我进化的AI智能体综述
人工智能·大模型·智能体