论文浅尝 | HippoRAG:神经生物学启发的大语言模型的长期记忆(Neurips2024)

笔记整理:陈少凯,浙江大学硕士生,研究方向为知识图谱、RAG

论文链接:https://arxiv.org/pdf/2405.14831

发表会议:Neurips 2024

1. 动机

虽然近年来大语言模型(LLM)的研究取得了很大进展,但持续更新的长时记忆在当前的人工智能系统中仍然有明显缺陷。检索增强生成(RAG)已经成为LLMs长时记忆的解决方案,然而,当前的RAG方法仍不能帮助LLM执行需要跨段落边界集成新知识的任务,因为每个新段落都是孤立编码的。

许多重要的现实世界任务,例如科学文献综述、医学诊断等任务,需要跨段落或文档的知识集成。为了解决此类任务,当前的RAG系统采取迭代地使用多个检索和LLM生成步骤来连接不同的段落。相比之下,人脑能够相对轻松地解决这些具有挑战性的知识整合任务。

2. 贡献

本文的核心贡献主要如下:

(1)首先,提出了一种RAG框架HippoRAG,通过模仿人类记忆来作为LLM的长期记忆。

(2)其次,HippoRAG协同LLM、知识图谱和个性化PageRank算法,以模拟新皮质和海马体在人类记忆中的不同作用。

(3)最后,HippoRAG在多跳问答任务中优于现有的RAG方法,使用HippoRAG的单步检索实现了与IRCoT等迭代检索相当或更好的性能。

3. 方法

模型的整体架构如下:

主要分为两个阶段,具体如下:

**(1)离线索引阶段:**索引阶段类似于记忆编码的过程,包括使用指令微调的LLM和检索编码器来处理一组段落。具体来说,从每个段落中提取一组命名实体,然后将命名实体添加到OpenIE提示符中,以提取最后的三元组。

****(2)**在线检索阶段:**检索阶段类似于人脑的记忆检索过程,这三个相同的组件然后被用来通过镜像人脑的记忆检索过程来执行在线检索。正如海马体接收通过新皮层和PHR处理的输入一样,我们的基于LLM的新皮层从查询中提取一组查询命名实体。然后,这些命名实体根据检索编码器确定的相似性链接到KG中的节点;我们将这些选定的节点称为查询节点。一旦查询节点被选中,它们就成为我们的合成海马体执行模式完成的部分线索。在海马体中,海马指数元素之间的神经通路使相关的邻近区域被激活并被上游召回。为了模仿这种高效的图搜索过程,我们利用了个性化PageRank算法,汇总先前索引的段落的输出PPR节点概率,并使用该概率对它们进行检索排序。

4. 实验

该实验主要在两个多跳QA benchmark(MusiQue和2WikiMultiHopQA)以及HotpotQA数据集上评估HippoRAG的检索能力;为了限制实验成本,从每个验证集中提取了1000个问题,三个数据集的具体信息如下所示:

单步检索性能比较:

多步检索性能比较:

消融实验(不同抽取方法):

5. 总结

本文提出的神经生物学原理的方法HippoRAG,虽然简单,已经显示出克服标准RAG系统的固有局限性,同时保留其参数记忆的优势。HippoRAG的知识集成能力,为LLM的长时记忆提供了可信的解决方案。然而,在未来的工作中可以解决目前工作的一些限制,使HippoRAG能更好地实现这一目标,比如通过执行特定组件微调来提高本方法的实际可行性。


OpenKG

OpenKG(中文开放知识图谱)旨在推动以中文为核心的知识图谱数据的开放、互联及众包,并促进知识图谱算法、工具及平台的开源开放。

点击阅读原文 ,进入 OpenKG 网站。

相关推荐
京东零售技术20 小时前
京东零售胡浩:智能供应链从运筹到大模型到超级智能体的演进
大数据·人工智能
榕壹云20 小时前
GEO正在通过大模型技术重构企业数字营销生态
人工智能·重构·geo
K姐研究社1 天前
通义万相Wan2.5模型实测,可生成音画同步视频
人工智能·aigc·音视频
云起SAAS1 天前
老年ai模拟恋爱抖音快手微信小程序看广告流量主开源
人工智能·微信小程序·小程序·ai编程·看广告变现轻·老年ai模拟恋爱·ai模拟恋爱
ModelWhale1 天前
喜报!和鲸科技获张江国家自主创新示范区专项发展资金支持
大数据·人工智能·科研
飞哥数智坊1 天前
AI 编程时代,你得学会“狠心”删代码
人工智能·ai编程
stbomei1 天前
静默期的跃迁:2025 年 AI 技术落地与产业重构路径
人工智能·重构
可触的未来,发芽的智生1 天前
新奇特:神经网络烘焙坊(下),万能配方的甜蜜奥义
人工智能·python·神经网络·算法·架构
RoboWizard1 天前
移动固态硬盘无法被电脑识别怎么办?
大数据·人工智能·缓存·电脑·金士顿
zero13_小葵司1 天前
基于多Agent构建AI驱动的智能化软件开发协作平台
人工智能·aigc·软件工程·团队开发·ai编程