【论文笔记】Parameter-Efficient Transfer Learning for NLP

🍎个人主页:小嗷犬的个人主页

🍊个人网站:小嗷犬的技术小站

🥭个人信条:为天地立心,为生民立命,为往圣继绝学,为万世开太平。


基本信息

标题 : Parameter-Efficient Transfer Learning for NLP
作者 : Neil Houlsby, Andrei Giurgiu, Stanislaw Jastrzebski, Bruna Morrone, Quentin de Laroussilhe, Andrea Gesmundo, Mona Attariyan, Sylvain Gelly
发表 : ICML 2019
arXiv : https://arxiv.org/abs/1902.00751

摘要

参数高效的NLP迁移学习对NLP中的大型预训练模型微调是一种有效的迁移机制。

然而,在存在许多下游任务的情况下,微调在参数上效率低下:每个任务都需要一个全新的模型。

作为替代方案,我们提出了带有适配器模块的迁移。

适配器模块产生一个紧凑且可扩展的模型;它们为每个任务仅添加少量可训练参数,并且可以添加新任务而无需重新访问之前的任务。

原始网络的参数保持不变,从而实现了高度的参数共享。

为了证明适配器的有效性,我们将最近提出的BERT Transformer模型迁移到26个不同的文本分类任务中,包括GLUE基准。

适配器达到了接近最先进的性能,而每个任务仅添加少量参数。

在GLUE上,我们的性能与完全微调相差0.4%,每个任务仅添加3.6%的参数。

相比之下,微调为每个任务训练了100%的参数。

Adapter tuning与全量微调两种微调方法微调效果随可训练参数量变化的比较。

Adapter tuning

在Transformer Layer的各个模块之间加入Adapter Layer。

Adapter Layer将特征由高维降至低维,经过非线性函数再从低维恢复到高维,并带有残差连接。

微调时冻结其他参数,只微调Adapter Layer。

实验

相关推荐
newxtc23 分钟前
【江苏政务服务网-注册_登录安全分析报告】
人工智能·安全·yolo·政务·1024程序员节·安全爆破
rengang6623 分钟前
013-Spring AI Alibaba Studio 功能完整案例
人工智能·spring·spring ai·ai应用编程
@鱼香肉丝没有鱼24 分钟前
大模型微调—LlamaFactory自定义微调数据集
大模型·大模型微调·自定义数据集
勿在浮沙筑高台1 小时前
海龟交易系统R
前端·人工智能·r语言
王哈哈^_^1 小时前
【数据集】【YOLO】【目标检测】口罩数据集,口罩佩戴识别数据集 1971 张,YOLO佩戴口罩检测算法实战训练教程。
人工智能·算法·yolo·目标检测·计算机视觉·ai·视觉检测
文火冰糖的硅基工坊2 小时前
[人工智能-大模型-83]:模型层技术 - 前向预测:神经网络是如何产生涌现智能的?背后的本质是什么?
人工智能·深度学习·神经网络
taxunjishu2 小时前
西门子 1500 PLC 依托 Ethernet/ip 转 Modbus RTU联合发那科机器人优化生产流程
人工智能·区块链·工业物联网·工业自动化·总线协议
一介书生-0072 小时前
2025-10-27 Java AI学习路线
java·人工智能·学习
rengang662 小时前
AI辅助需求分析:AI大模型将自然语言需求转化为技术规格
人工智能·需求分析·ai编程·1024程序员节·ai智能体编程
子不语1802 小时前
深度学习——IDE之Jupyter
人工智能·深度学习·jupyter