目录

Introducing Language Guidance in Prompt-based Continual Learning

本文是LLM系列文章,针对《Introducing Language Guidance in Prompt-based Continual Learning》的翻译。

基于提示的持续学习中引入语言指导

  • 摘要
  • [1 引言](#1 引言)
  • [2 相关工作](#2 相关工作)
  • [3 背景](#3 背景)
  • [4 基于提示的持续学习语言指导](#4 基于提示的持续学习语言指导)
  • [5 实验](#5 实验)
  • [6 结论](#6 结论)

摘要

持续学习旨在学习一系列任务的单一模型,而无需访问以前任务的数据。该领域最大的挑战仍然是灾难性的遗忘:早期任务的可见类的性能损失。一些现有的方法依赖于昂贵的重放缓冲区来存储以前任务的数据块。这虽然很有前景,但当任务数量变大或由于隐私原因无法存储数据时,成本会变得很高。作为替代方案,已经提出了将任务信息存储在可学习提示池中的基于提示的方法。此提示池指示冻结图像编码器如何解决每个任务。虽然在这种设置下,模型在每个任务中都面临一组不相交的类,但我们认为这些类可以被编码到预先训练的语言编码器的相同嵌入空间中。在这项工作中,我们提出了基于提示的持续学习的语言指导(LGCL),作为基于提示的方法的插件。LGCL与模型无关,在提示池的任务级别和视觉编码器的输出特性的类级别引入了语言指导。我们通过大量实验表明,LGCL不断提高基于提示的连续学习方法的性能,从而开创了新的技术水平。LGCL在不需要任何额外的可学习参数的情况下实现了这些性能改进。

1 引言

2 相关工作

3 背景

4 基于提示的持续学习语言指导

5 实验

6 结论

在这项工作中,我们引入了一个新的视角,即在基于提示的持续学习中引入语言指导。我们的方法背后的关键直觉是,即使任务分布在任务之间发生变化,它们的标签空间也可以映射到相同的语言空间。一个能够学会映射到这个空间的模型可以减轻灾难性的遗忘,从而提高性能。我们在两个层面引入语言指导;即任务级别和类级别。在任务级别,我们为提示池引入了语言指导,在提示池中,模型需要为预先训练的视觉转换器的类条件反射选择相关提示。通过改进提示池的密钥查找,我们可以使模型在不同的任务中更加健壮。为此,我们鼓励模型将键映射到其各自的任务级语言表示。其次,我们在视觉转换器的输出特性中引入了类级别的语言指导。在这个阶段,我们激励模型将输出特征映射到类级别的语言表示。在没有任何额外学习参数的情况下,我们的方法提高了基于基线提示的连续学习方法的性能,创造了新的技术水平。

本文是转载文章,点击查看原文
如有侵权,请联系 xyy@jishuzhan.net 删除
相关推荐
阿坡RPA9 小时前
手搓MCP客户端&服务端:从零到实战极速了解MCP是什么?
人工智能·aigc
用户277844910499310 小时前
借助DeepSeek智能生成测试用例:从提示词到Excel表格的全流程实践
人工智能·python
机器之心10 小时前
刚刚,DeepSeek公布推理时Scaling新论文,R2要来了?
人工智能
算AI12 小时前
人工智能+牙科:临床应用中的几个问题
人工智能·算法
凯子坚持 c13 小时前
基于飞桨框架3.0本地DeepSeek-R1蒸馏版部署实战
人工智能·paddlepaddle
你觉得20513 小时前
哈尔滨工业大学DeepSeek公开课:探索大模型原理、技术与应用从GPT到DeepSeek|附视频与讲义下载方法
大数据·人工智能·python·gpt·学习·机器学习·aigc
8K超高清13 小时前
中国8K摄像机:科技赋能文化传承新图景
大数据·人工智能·科技·物联网·智能硬件
hyshhhh14 小时前
【算法岗面试题】深度学习中如何防止过拟合?
网络·人工智能·深度学习·神经网络·算法·计算机视觉
薛定谔的猫-菜鸟程序员14 小时前
零基础玩转深度神经网络大模型:从Hello World到AI炼金术-详解版(含:Conda 全面使用指南)
人工智能·神经网络·dnn
币之互联万物14 小时前
2025 AI智能数字农业研讨会在苏州启幕,科技助农与数据兴业成焦点
人工智能·科技