Simple and Scalable Strategies to Continually Pre-train Large Language Models

Simple and Scalable Strategies to Continually Pre-train Large Language Models

相关链接:arxiv

关键字:Large Language ModelsPre-trainingContinual LearningDistribution ShiftAdaptation

摘要

大型语言模型(LLMs)通常会在数十亿个tokens上进行预训练,然后新数据一旦可用,就开始重新训练过程。一个更为高效的解决方案是持续地预训练这些模型------与重新训练相比,可以节省大量计算资源。然而,新数据分布的变化通常会导致在以前数据上的表现下降或者对新数据适应不良。本文展示了一个简单且可扩展的学习率重新增温(LR re-warming)、重新递减(LR re-decaying)结合以前数据重播的策略足以与在所有可用数据上从零开始重新训练的模型在最终损失和语言模型(LM)评估基准上匹配性能。具体来说,我们在英语到英语(300B参数模型)内的弱分布转换和英语到德语(405M参数模型)的更强分布转换下证明了这一点。选定弱但真实的转换进行大规模实验后,我们还发现我们的持续学习策略对于10B参数LLM的新训练基线也是匹配的。我们的结果表明,LLMs可以通过简单且可扩展的持续学习策略成功更新,仅使用一小部分计算资源即可与重新训练的基线匹配。

核心方法

  • 持续性预训练:为了有效利用计算资源与适应新数据,我们提出LR重新增温和重新递减策略。
  • 加热与递减学习率:通过增温与重新递减学习率来适应新数据集是必要的。这有助于适应性,但也可能增加遗忘。
  • 数据重播:在模型训练中重放以前数据的一定比例,以防止LLMs忘记旧数据(catastrophic forgetting)。
  • 无限学习率计划:我们还提出了一个无限学习率计划,以避免因为学习率重新增温导致的遗忘。

实验说明

使用的模型质量是:405M和10B参数,数据集规模是:超过2000B tokens的大型数据集。

实验结果示例(部分)

Model Dataset Training Tokens Validation Loss
405M Pile+SP Final Pile 300B 2.4
405M Pile+SP Final SP 300B 2.75
405M SP (PT Pile) Pile Continued 2.6
405M SP (PT Pile) SP Continued 2.8
  • 模型:包括Pile训练和在Pile基础上持续训练的模型。
  • 数据集:Pile和SP(SlimPajama)。
  • 训练Tokens:显示了用于训练的tokens数量。
  • 验证损失:显示模型在Pile和SP数据集上的验证损失。

结论

我们展示了LLMs可以通过简单且可扩展的持续学习策略成功更新,只用了一小部分计算资源即可与从零开始在所有可用数据上重新训练的基线匹配。这些策略包括LR重新增温和重新递减、数据重播。通过这些策略,我们成功实现了对模型进行快速适应新数据的同时,最小化了对旧数据的遗忘

相关推荐
lisw057 小时前
DeepSeek原生稀疏注意力(Native Sparse Attention, NSA)算法介绍
人工智能·深度学习·算法
美狐美颜sdk11 小时前
美颜SDK兼容性挑战:如何让美颜滤镜API适配iOS与安卓?
android·深度学习·ios·美颜sdk·第三方美颜sdk·视频美颜sdk
HABuo12 小时前
【YOLOv8】YOLOv8改进系列(11)----替换主干网络之MobileNetV4
人工智能·深度学习·yolo·目标检测·计算机视觉
Kai HVZ12 小时前
《深度学习》——bert框架
人工智能·深度学习·bert
紫雾凌寒13 小时前
自然语言处理|金融舆情解析:智能事件抽取与风险预警之道
人工智能·深度学习·自然语言处理·金融·事件抽取·金融舆情·风险预警
进取星辰13 小时前
PyTorch 深度学习实战(30):模型压缩与量化部署
人工智能·pytorch·深度学习
小白的高手之路15 小时前
常用的卷积神经网络及Pytorch示例实现
人工智能·pytorch·python·深度学习·神经网络·cnn
神经星星15 小时前
在线教程丨YOLO系列重要创新!清华团队发布YOLOE,直击开放场景物体实时检测与分割
人工智能·深度学习·机器学习
卑微小文15 小时前
惊!代理 IP 助力股海菜鸟变身赛场冠军!
爬虫·深度学习·数据分析
Json_17 小时前
Vue 初识Hello word
前端·vue.js·深度学习