【论文笔记】NEFTune: Noisy Embeddings Improve Instruction Finetuning

🍎个人主页:小嗷犬的个人主页

🍊个人网站:小嗷犬的技术小站

🥭个人信条:为天地立心,为生民立命,为往圣继绝学,为万世开太平。


基本信息

标题 : NEFTune: Noisy Embeddings Improve Instruction Finetuning
作者 : Neel Jain, Ping-yeh Chiang, Yuxin Wen, John Kirchenbauer, Hong-Min Chu, Gowthami Somepalli, Brian R. Bartoldson, Bhavya Kailkhura, Avi Schwarzschild, Aniruddha Saha, Micah Goldblum, Jonas Geiping, Tom Goldstein
发表 : ICLR 2023
arXiv : https://arxiv.org/abs/2310.05914

摘要

我们表明,通过简单的增强,语言模型微调可以得到改进,有时甚至可以显著提高。

NEFTune在训练过程中向嵌入向量添加噪声。

使用Alpaca对LLaMA-2-7B进行标准微调,在AlpacaEval上的成绩为29.79%,而使用带噪声的嵌入时,成绩上升至64.69%。NEFTune在现代指令数据集上也优于强大的基线。

使用Evol-Instruct训练的模型提高了10%,ShareGPT提高了8%,OpenPlatypus提高了8%。

即使是经过RLHF进一步精炼的强大模型,如LLaMA-2-Chat,也能从NEFTune的额外训练中受益。

简介

AlpacaEval中LLaMA-2-7B模型在各种数据集上经过微调(含和不含NEFTune)的胜率百分比。

NEFTune在这些数据集上均带来了巨大的性能提升,展示了生成答案的对话质量提升。

NEFTune: Noisy Embedding Instruction Fine Tuning

指令模型(Instruction models)是在包含指令和响应配对的数据集上训练的。每一步 NEFTune 的训练过程通过从数据集中抽取一个指令,并将其token转换为嵌入向量开始。NEFTune 的不同之处在于,它在标准训练基础上向嵌入向量中添加了一个随机噪声向量。该噪声通过抽取独立同分布(iid)的均匀分布值生成,范围为 [ − 1 , 1 ] [-1, 1] [−1,1]。然后将整个噪声向量按因子 α / L d \alpha / \sqrt{Ld} α/Ld 进行缩放,其中 L L L 是序列长度, d d d 是嵌入维度, α \alpha α 是一个可调参数。

这种缩放规则来源于对抗性机器学习(adversarial ML)的相关文献,并产生了一个欧几里得期望幅度约为 α / 3 \alpha / \sqrt{3} α/3 的随机向量。算法 1 详细描述了我们的方法。

实验

总结与局限

NEFTune的成功指出了算法和正则化在LLM训练中常被忽视的重要性。与已经研究了多年正则化和过拟合的计算机视觉社区不同,LLM社区倾向于使用旨在优化器稳定性的标准化训练循环,而不是泛化。在这种环境中,LLM研究人员已经将数据集和模型扩展作为前进的主要途径。鉴于NEFTune的持续收益以及在小指令数据集上过度拟合的趋势,似乎在LLM环境中重新审视正则化是值得的。

我们的研究有几个局限性。我们将AlpacaEval作为LLM指令跟随能力的核心衡量标准,这受到单个裁判(GPT-4)的偏见。此外,由于计算资源有限,我们无法在多个数据集上验证NEFTune在70B变体上的成功,并且大多数NEFTune运行必须依赖于固定的超参数而不是扫描。最后,尽管我们进行了实证研究,但我们并没有对NEFTune为何有效有一个明确的了解。

相关推荐
opentrending2 小时前
Github 热点项目 awesome-mcp-servers MCP 服务器合集,3分钟实现AI模型自由操控万物!
服务器·人工智能·github
lisw053 小时前
DeepSeek原生稀疏注意力(Native Sparse Attention, NSA)算法介绍
人工智能·深度学习·算法
whaosoft-1433 小时前
51c深度学习~合集4
人工智能
逢生博客3 小时前
阿里 FunASR 开源中文语音识别大模型应用示例(准确率比faster-whisper高)
人工智能·python·语音识别·funasr
哲讯智能科技4 小时前
智慧能源新篇章:SAP如何赋能光伏行业数字化转型
大数据·人工智能
云卓SKYDROID4 小时前
无人机DSP处理器工作要点!
人工智能·无人机·科普·云卓科技
gang_unerry4 小时前
量子退火与机器学习(2):少量实验即可找到新材料,黑盒优化➕量子退火
人工智能·机器学习·量子计算·量子退火
訾博ZiBo4 小时前
AI日报 - 2025年4月2日
人工智能
说私域5 小时前
消费品行业创新创业中品类创新与数字化工具的融合:以开源 AI 智能客服、AI 智能名片及 S2B2C 商城小程序为例
人工智能·小程序·开源
说私域5 小时前
开源AI大模型赋能的S2B2C商业生态重构研究——基于智能名片系统的体验认知与KOC背书机制
人工智能·小程序·重构·开源