大模型训练成本降低近一半!新加坡国立大学最新优化器已投入使用

优化器在大语言模型的训练中占据了大量内存资源。

现在有一种新的优化方式,在性能保持不变的情况下将内存消耗降低了一半。

该成果由新加坡国立大学打造,在ACL会议上获得了杰出论文奖,并已经投入了实际应用。

随着大语言模型不断增加的参数量,训练时的内存消耗问题更为严峻。

研究团队提出了 CAME 优化器,在减少内存消耗的同时,拥有与Adam相同的性能。

CAME优化器在多个常用的大规模语言模型的预训练上取得了相同甚至超越Adam优化器的训练表现,并对大batch预训练场景显示出更强的鲁棒性。

进一步地,通过CAME优化器训练大语言模型,能够大幅度降低大模型训练的成本。

实现方法

CAME 优化器基于 Adafactor 优化器改进而来,后者在大规模语言模型的预训练任务中往往带来训练性能的损失。

Adafactor中的非负矩阵分解操作在深度神经网络的训练中不可避免地会产生错误,对这些错误的修正就是性能损失的来源。

而通过对比发现,当起始数值mt和当前数值t相差较小时,mt的置信度更高。

受这一点启发,团队提出了一种新的优化算法。

下图中的蓝色部分就是CAME相比Adafactor增加的部分。

CAME 优化器基于模型更新的置信度进行更新量修正,同时对引入的置信度矩阵进行非负矩阵分解操作。

最终,CAME成功以Adafactor的消耗得到了Adam的效果。

相同效果仅消耗一半资源

团队使用CAME分别训练了BERT、GPT-2和T5模型。

此前常用的Adam(效果更优)和Adafactor(消耗更低)是衡量CAME表现的参照。

其中,在训练BERT的过程中,CAME仅用一半的步数就达到了和Adafaactor相当的精度。

**△**左侧为8K规模,右侧为32K规模

对于GPT-2,从损失和困惑度两个角度看,CAME的表现和Adam十分接近。

在T5模型的训练中,CAME也呈现出了相似的结果。

而对于模型的微调,CAME在精确度上的表现也不输于基准。

资源消耗方面,在使用PyTorch训练4B数据量的BERT时,CAME消耗的内存资源比基准减少了近一半。

团队简介

新加坡国立大学HPC-AI 实验室是尤洋教授领导的高性能计算与人工智能实验室。

实验室致力于高性能计算、机器学习系统和分布式并行计算的研究和创新,并推动在大规模语言模型等领域的应用。

实验室负责人尤洋是新加坡国立大学计算机系的校长青年教授(Presidential Young Professor)。

尤洋在2021年被选入福布斯30岁以下精英榜(亚洲)并获得IEEE-CS超算杰出新人奖,当前的研究重点是大规模深度学习训练算法的分布式优化。

本文第一作者罗旸是该实验室的在读硕士生,他当前研究重点为大模型训练的稳定性以及高效训练。

论文地址:
arxiv.org/abs/2307.02...

GitHub项目页:
github.com/huawei-noah...

--- ---

相关推荐
Codebee几秒前
“自举开发“范式:OneCode如何用低代码重构自身工具链
java·人工智能·架构
说私域12 分钟前
基于开源AI智能名片链动2+1模式的S2B2C商城小程序:门店私域流量与视频号直播融合的生态创新研究
人工智能·小程序·开源
Ronin-Lotus15 分钟前
深度学习篇---Yolov系列
人工智能·深度学习
静心问道43 分钟前
GoT:超越思维链:语言模型中的有效思维图推理
人工智能·计算机视觉·语言模型
aneasystone本尊1 小时前
学习 Claude Code 的工具使用(三)
人工智能
szxinmai主板定制专家1 小时前
【精密测量】基于ARM+FPGA的多路光栅信号采集方案
服务器·arm开发·人工智能·嵌入式硬件·fpga开发
T__TIII1 小时前
Dify 自定义插件
人工智能·github
快起来别睡了1 小时前
LangChain 介绍及使用指南:从“会聊天”到“能干活”的 AI 应用开发工具
人工智能
AI数据皮皮侠2 小时前
中国区域10m空间分辨率楼高数据集(全国/分省/分市/免费数据)
大数据·人工智能·机器学习·分类·业界资讯
静心问道2 小时前
大语言模型能够理解并可以通过情绪刺激进行增强
人工智能·语言模型·大模型