仅需一行代码即可提升训练效果!

最近新看到的一篇paper,挺有意思

在这篇文章中只做了一个出人意料的简单调整,作者建议忽略来自优化器、与最近反向传播中当前梯度符号相反的任何更新。换句话说,建议只应用与当前梯度一致的更新,使更新更稳定,并与最新数据保持一致。他们发现这个小小的调整可以显著加快训练速度,大致梳理了下内容,一起看看

背景

AdamW 成为大多数 Transformer 预训练的默认优化器,近年来虽然出现了一些改进版本,但始终没有真正挑战其主导地位。然而,随着大模型时代的到来,更高效的优化器可以加快训练速度,提高模型能力。因此,该研究提出了一种简单但有效的优化器修改方法------Cautious Optimizer

贡献

  • 提出了Cautious Optimizer,仅需一行代码修改现有动量优化器,即 C-AdamW 和 C-Lion
  • 不会破坏优化器的收敛性
  • 相比于普通动量优化器,能更快地降低损失函数
  • 能够避免"卡在"优化路径上的某些不稳定点,而普通动量优化器可能会在这些点上振荡或减缓收敛

方法

  • 仅在优化器的更新方向与当前梯度方向一致时才执行更新
  • 具体实现如下(PyTorch 代码示例)
python 复制代码
# param p, update u from OPT, grad g
m = (u * g > 0).to(g.dtype)
p.add (u * m / (m.mean() + eps), alpha=-lr)

实验

  1. LLaMA 预训练任务
  • C-AdamW 和 C-Lion 在多个参数规模(60M、100M、350M、1B)下均比原始 AdamW 和 Lion 更快地收敛
  • C-AdamW 训练效率提高 1.47 倍,C-Lion 提高 1.28 倍
  • 在 GLUE 基准测试中,C-AdamW 在多个 NLP 任务上的平均得分比 AdamW 提高 2%
  1. MAE 视觉预训练任务
  • C-AdamW 使评估损失更快下降,表明其在图像表示学习上的有效性
  1. LLM 微调(Instruction Tuning)和 RLHF 任务
  • C-AdamW 在相同训练步数和 PPO 训练回合下,取得了更低的训练损失和更高的奖励分数

TODO

  • 进一步改进 ϕ(masking)函数,使其更有效
  • 在特征空间(如特征向量的主成分)进行 mask,而非直接在参数空间操作
  • 更严格地分析对收敛速率的提升

愣着干嘛,测起来用起来,创新点+1[狗头]

相关推荐
8Qi81 小时前
深度学习(鱼书)day06--神经网络的学习(后两节)
人工智能·python·深度学习·神经网络
偶尔贪玩的骑士3 小时前
Note3: CNN(卷积神经网络)
人工智能·神经网络·cnn
虾饺爱下棋6 小时前
FCN语义分割算法原理与实战
人工智能·python·神经网络·算法
go546315846515 小时前
基于LSTM和GRU的上海空气质量预测研究
图像处理·人工智能·深度学习·神经网络·算法·gru·lstm
go546315846516 小时前
基于YOLOP与GAN的图像修复与防御系统设计与实现
人工智能·深度学习·神经网络·机器学习·生成对抗网络·矩阵
DAWN_T1718 小时前
关于网络模型的使用和修改/保存和读取
网络·人工智能·pytorch·python·深度学习·神经网络·机器学习
金井PRATHAMA20 小时前
广泛分布于内侧内嗅皮层全层的速度细胞(speed cells)对NLP中的深层语义分析的积极影响和启示
人工智能·神经网络·自然语言处理·知识图谱
毛飞龙21 小时前
神经网络模型训练需要的内存大小计算方法
深度学习·神经网络·内存计算
学Linux的语莫1 天前
八大神经网络的区别
人工智能·深度学习·神经网络
金井PRATHAMA2 天前
主要分布于内侧内嗅皮层的层Ⅲ的网格-速度联合细胞(Grid × Speed Conjunctive Cells)对NLP中的深层语义分析的积极影响和启示
人工智能·深度学习·神经网络·机器学习·语言模型·自然语言处理·知识图谱