Decoupling Knowledge from Memorization: Retrieval-augmented Prompt Learning

本文是LLM系列的文章,针对《Decoupling Knowledge from Memorization:

Retrieval

知识与记忆的解耦:检索增强的提示学习

  • 摘要
  • [1 引言](#1 引言)
  • [2 提示学习的前言](#2 提示学习的前言)
  • [3 RETROPROMPT:检索增强的提示学习](#3 RETROPROMPT:检索增强的提示学习)
  • [4 实验](#4 实验)
  • [5 相关实验](#5 相关实验)
  • [6 结论与未来工作](#6 结论与未来工作)

摘要

提示学习方法在仍然遵循基于参数的学习范式的同时,通过诱导更好的小样本表现,在自然语言处理中掀起了波澜;学习中的遗忘和死记硬背问题可能会遇到不稳定的泛化问题。具体来说,在完全监督的训练中,朴素的提示学习可能很难死记硬背地利用非典型实例,或者用低样本数据过度拟合浅层模式。为了缓解这些限制,我们开发了RETROPROMPT,其动机是将知识与记忆脱钩,以帮助模型在泛化和记忆之间取得平衡。与普通的提示学习相比,RETROPROPT从训练实例中构建了一个开卷知识库,并在输入、训练和推理过程中实现了检索机制,从而使模型能够从训练语料库中检索相关上下文作为增强的线索。大量的实验表明,RETROPROPT可以在小样本和零样本设置中获得更好的性能。此外,我们还进一步说明了我们提出的RETROPROPT可以在新的数据集上产生更好的泛化能力。对记忆的详细分析确实表明,RETROPROMPT可以减少语言模型对记忆的依赖;因此,提高了下游任务的泛化能力。

1 引言

2 提示学习的前言

3 RETROPROMPT:检索增强的提示学习

4 实验

5 相关实验

6 结论与未来工作

我们提出了通过引入检索增强来将知识与记忆解耦的RETROPROPT,以进一步提高输入端提示学习的泛化能力以及模型训练和预测的整个过程。RETROPROPT是一种简单而有效的检索方法,它结合了神经演示、用于训练和预测的kNN指南。我们的广泛研究结果表明,它在小样本、零样本和全监督设置中优于其他演示增强提示方法和知识增强提示方法。分析记忆的本质,验证了知识与记忆脱钩的有效性。有趣的未来方向包括:1)应用于其他任务,如QA和NLG,2)探索用于无监督学习的噪声数据挖掘,3)进一步提高大型数据集的检索效率,等等。

相关推荐
kcarly1 小时前
KTransformers如何通过内核级优化、多GPU并行策略和稀疏注意力等技术显著加速大语言模型的推理速度?
人工智能·语言模型·自然语言处理
高山莫衣5 小时前
中文Build a Large Language Model (From Scratch) 免费获取全文
人工智能·语言模型·自然语言处理
Black蜡笔小新11 小时前
AI大模型驱动的智能音视频通信:视频通话SDK工具EasyRTC在嵌入式设备中的应用探索
人工智能·语言模型·大模型·音视频·webrtc·rtc
Zhouqi_Hua11 小时前
LLM论文笔记 15: Transformers Can Achieve Length Generalization But Not Robustly
论文阅读·笔记·深度学习·语言模型·自然语言处理
AI生成未来14 小时前
多模态大语言模型(MLLMs)如何重塑和变革计算机视觉?
计算机视觉·语言模型·多模态·mllms
小白顶呱呱20 小时前
图解【提示工程 VS 微调 VS RAG、全量微调 VS LoRA微调、TopK VS TopP】截图笔记
笔记·大模型·prompt·rag·大模型微调
bug404_1 天前
分布式大语言模型服务引擎vLLM论文解读
人工智能·分布式·语言模型
Zhouqi_Hua1 天前
LLM论文笔记 12: Teaching Arithmetic to Small Transformers
论文阅读·人工智能·深度学习·神经网络·语言模型
一 铭1 天前
dify实现分析-rag-关键词索引的实现
人工智能·语言模型·大模型·llm
没枕头我咋睡觉1 天前
【大语言模型_2】mindie部署deepseek模型
人工智能·语言模型·自然语言处理