【论文笔记】Prefix-Tuning: Optimizing Continuous Prompts for Generation

🍎个人主页:小嗷犬的个人主页

🍊个人网站:小嗷犬的技术小站

🥭个人信条:为天地立心,为生民立命,为往圣继绝学,为万世开太平。


基本信息

标题 : Prefix-Tuning: Optimizing Continuous Prompts for Generation
作者 : Xiang Lisa Li, Percy Liang
发表 : ACL 2021
arXiv : https://arxiv.org/abs/2101.00190

摘要

微调是利用大型预训练语言模型进行下游任务的事实上的方法。

然而,微调会修改所有语言模型参数,因此需要为每个任务存储一个完整副本。

在本文中,我们提出了Prefix-tuning,这是一种轻量级的自然语言生成任务微调替代方案,它保持语言模型参数冻结,并优化一系列连续的任务特定向量,我们称之为Prefix。

Prefix-tuning从语言模型的提示中汲取灵感,允许后续标记将此Prefix视为"虚拟token"。

我们将Prefix-tuning应用于GPT-2进行表格到文本生成,以及应用于BART进行摘要。

我们表明,通过仅修改0.1%的参数,Prefix-tuning在全数据设置中获得了可比的性能,在低数据设置中优于微调,并且更好地推广到训练期间未见过的主题示例。

全量微调(上方)更新所有LM参数(红色Transformer框)并需要为每个任务存储完整模型副本。我们提出Prefix-tuning(下方),冻结LM参数,仅优化Prefix(红色Prefix块)

Prefix-Tuning

实验

性能指标(除TER外,数值越高越好)用于E2E(左侧)、WebNLG(中间)和DART(右侧)的表格到文本生成。

(左)低数据环境中的定性示例。(右)前缀调整(橙色)在低数据机制中优于微调(蓝色),并且需要更少的参数。

XSUM摘要数据集上方法的性能。

XSUM上的外推性能。

XSUM上的外推性能。前缀长度与摘要(左)和表格到文本(右)的性能对比。

内嵌式和插入式的内在评估。

初始化前缀时,使用真实单词的激活效果显著优于随机初始化,尤其是在低数据集环境下。

数据效率曲线:训练集百分比与表格到文本(端到端)性能对比。

相关推荐
IT古董6 小时前
【机器学习】超简明Python基础教程
开发语言·人工智能·python·机器学习
算家云6 小时前
VideoCrafter模型部署教程
人工智能·深度学习·机器学习·显卡·算力·视频生成·ai视频编辑
曼城周杰伦7 小时前
表格不同类型的数据如何向量化?
人工智能·机器学习·分类·数据挖掘·sklearn·word2vec
AIGC方案7 小时前
免费下载 | 2024年中国人工智能教育蓝皮书
人工智能·百度
斐夷所非7 小时前
OpenAI Adjusts Strategy as ‘GPT’ AI Progress Slow
人工智能
凡人的AI工具箱8 小时前
15分钟学 Go 实战项目六 :统计分析工具项目(30000字完整例子)
开发语言·数据库·人工智能·后端·golang
知新_ROL8 小时前
GPT promote 论文学术润色提示词
人工智能·深度学习
皓7418 小时前
3C产品说明书电子化转变:用户体验、环保与商业机遇的共赢
人工智能·ux
AIBigModel8 小时前
o1的风又吹到多模态,直接吹翻了GPT-4o-mini
大数据·人工智能·算法
德希智慧水利水务8 小时前
河道水位流量一体化自动监测系统:航运安全的护航使者
网络·人工智能·算法·信息可视化