Invar-RAG:基于不变性对齐的LLM检索方法提升生成质量

Invar-RAG:基于不变性对齐的LLM检索方法提升生成质量

论文链接:https://arxiv.org/html/2411.07021v1

论文概述

在检索增强型生成(Retrieval-Augmented Generation, RAG)系统中直接应用大型语言模型(Large Language Models, LLMs)时面临的挑战。具体来说,论文关注以下几个问题:

  • 特征局部性问题(Feature Locality Problem):由于大型语言模型的庞大参数知识库阻碍了有效使用所有语料库中的全局信息,例如,基于LLM的检索器通常输入文档的摘要而不是整个文档,这可能导致无法充分利用全局信息。

  • 检索方差问题(Retrieval Variance):由于大型语言模型固有的生成不一致性属性,当前基于LLM的检索可能会产生不可预见的方差,尤其是在输入查询或上下文大小变化时,直接导致不理想且易受攻击的性能。

  • 检索器与生成模型的分离问题:在RAG系统中,检索器和生成模型之间的分离阻碍了它们的完全集成,限制了它们在下游应用中的兼容性。

为了解决这些问题,论文提出了一个名为Invar-RAG的新颖两阶段微调架构,包括检索阶段和生成阶段。在检索阶段,通过整合基于LoRA的表示学习来解决特征局部性问题,并开发了两种模式(即不变模式和变体模式)以及不变损失来减轻LLM中的方差。在生成阶段,设计了一种精心设计的微调方法,以改进LLM,以便根据检索到的信息准确生成答案。实验结果表明,Invar-RAG在三个开放域问答(Open-domain Question Answering, ODQA)数据集上显著优于现有基线

核心内容

论文提出了一个名为Invar-RAG的新型两阶段微调架构来解决上述问题,具体方法如下:

检索阶段(Retrieval Stage)

1. LLM-based Retriever:

  • 使用基于LLaMA的双编码器架构作为检索器的骨干网络。

  • 引入了LLM-aligned Retrieval,通过小语言模型(MiniLM)将输入查询和文档表示为高维空间中的向量,然后通过KL散度构建的新损失函数将这些粗略的查询-文档对表示与LLM的表示空间对齐。

2. 表示学习(Representation Learning):

利用LoRA(Low-Rank Adaptation)架构为原始表示添加额外的适配参数,以增强检索器返回相关文档的能力。

3. 不变性损失(Invariance Loss):

通过识别对性能贡献最大的不变模式,并逐渐迫使模型依赖于这些不变模式,减少实践中不可预见的方差,增强RAG系统的鲁棒性。

生成阶段(Generation Stage)

1. 生成能力优化:

在检索到相关信息后,通过特殊设计的微调示例来优化LLM,使其能够更准确地回答给定问题。

2. 微调方法

冻结先前微调的权重,并优化生成函数,允许LLM根据检索到的文档给出正确答案。

论文总结

  • Invar-RAG框架:提出了一个新颖的框架,包含两个阶段的微调方法,分别针对检索和生成。

  • LLM-based检索方法:提出了一种新的基于LLM的检索方法,包括表示学习和不变性损失,分别解决特征局部性和检索方差问题。

  • 性能验证:在三个公共ODQA数据集上验证了Invar-RAG的性能,无论在检索性能还是生成性能上,都展示了其优越性。

通过这些方法,Invar-RAG能够有效地利用LLM的语义理解能力来检索相关信息,并生成准确的答案,同时解决了特征局部性和检索方差的问题。

编者简介

致Great,中国人民大学硕士,多次获得国内外算法赛奖项,目前在中科院计算所工作,目前负责大模型训练优化以及RAG框架开发相关工作。

个人主页:https://github.com/yanqiangmiffy

项目链接:https://github.com/gomate-community/GoMate

相关推荐
说私域11 分钟前
基于开源AI智能名片链动2+1模式S2B2C商城小程序的超级文化符号构建路径研究
人工智能·小程序·开源
永洪科技13 分钟前
永洪科技荣获商业智能品牌影响力奖,全力打造”AI+决策”引擎
大数据·人工智能·科技·数据分析·数据可视化·bi
shangyingying_123 分钟前
关于小波降噪、小波增强、小波去雾的原理区分
人工智能·深度学习·计算机视觉
书玮嘎1 小时前
【WIP】【VLA&VLM——InternVL系列】
人工智能·深度学习
猫头虎2 小时前
猫头虎 AI工具分享:一个网页抓取、结构化数据提取、网页爬取、浏览器自动化操作工具:Hyperbrowser MCP
运维·人工智能·gpt·开源·自动化·文心一言·ai编程
要努力啊啊啊2 小时前
YOLOv2 正负样本分配机制详解
人工智能·深度学习·yolo·计算机视觉·目标跟踪
CareyWYR2 小时前
大模型真的能做推荐系统吗?ARAG论文给了我一个颠覆性的答案
人工智能
特立独行的猫a2 小时前
百度AI文心大模型4.5系列开源模型评测,从安装部署到应用体验
人工智能·百度·开源·文心一言·文心一言4.5
SKYDROID云卓小助手2 小时前
无人设备遥控器之自动调整编码技术篇
人工智能·嵌入式硬件·算法·自动化·信号处理