检索增强生成算法

检索增强生成算法(Retrieval-Augmented Generation,RAG)是由Patrick Lewis等人于2020年提出的(https://arxiv.org/pdf/2005.11401),主要用于辅助大规模语言模型(Large Language Models, LLMs)在生成结果之前,查阅/检索外部知识库,得到相关辅助资料,用于"开卷"作答(如果是问答应用模式下),使生成的内容具有除了大模型本身具备的知识以外,有外部知识的支撑和辅助。具体算法的架构图,如下:

图 RAG的算法框架图

其中,如果对于没有应用RAG进行文本生成,只需要图中的生成器部分,x为用户的提示词或者问题等,输入到生成器中,生成器一般使用常用的LLMs进行文本的生成操作。

而RAG加入了检索器模块,论文中使用的外部知识库是wikipedia文章库,针对用户输入x,到外部知识库中进行检索,得到最相关的k篇文章段落。将检索到的相关文章段落与用户输入进行拼接,一起输入到生成器进行生成操作。

一般的文本生成模型就是典型的seq2seq模型,输入和输出都是文本序列。通过文本对训练大型语言模型(LLMs),用户输入文本后使用预训练好的LLMs生成输出文本序列。使用过程完全依赖于LLMs在训练过程中习得的语言技能和知识。

RAG的加入,帮助LLMs使用外部知识,在一定程度上缓解大模型的幻觉问题、非实时性等问题。

(未完待续)

相关推荐
AIGC大时代13 分钟前
高效使用DeepSeek对“情境+ 对象 +问题“型课题进行开题!
数据库·人工智能·算法·aigc·智能写作·deepseek
多巴胺与内啡肽.17 分钟前
深度学习--自然语言处理统计语言与神经语言模型
深度学习·语言模型·自然语言处理
Want59532 分钟前
从ChatGPT到GPT-4:大模型如何重塑人类认知边界?
chatgpt·aigc
VI8664956I2636 分钟前
全链路自动化AIGC内容工厂:构建企业级智能内容生产系统
运维·自动化·aigc
沅_Yuan1 小时前
基于贝叶斯优化的Transformer多输入单输出回归预测模型Bayes-Transformer【MATLAB】
神经网络·matlab·回归·贝叶斯·transformer·回归预测
Sherlock Ma1 小时前
PDFMathTranslate:基于LLM的PDF文档翻译及双语对照的工具【使用教程】
人工智能·pytorch·语言模型·pdf·大模型·机器翻译·deepseek
小溪彼岸2 小时前
【Cursor实战】使用Cursor+高德MCP成为行程规划达人
aigc·cursor
数据智能老司机4 小时前
构建具备自主性的人工智能系统——在生成式人工智能系统中构建信任
深度学习·llm·aigc
PetterHillWater4 小时前
LLM下生成SVG格式功能架构图
aigc
win4r5 小时前
🔥超越cursor!Cline+Context7 MCP文档搜索功能高级用法!自定义指令+.clinerules轻松开启vibe coding!零代码构建Au
aigc·openai·cline