Simple and Scalable Strategies to Continually Pre-train Large Language Models

Simple and Scalable Strategies to Continually Pre-train Large Language Models

相关链接:arxiv

关键字:Large Language Models 、Pre-training 、Continual Learning 、Distribution Shift 、Adaptation

摘要

大型语言模型(LLMs)通常会在数十亿个tokens上进行预训练,然后新数据一旦可用,就开始重新训练过程。一个更为高效的解决方案是持续地预训练这些模型------与重新训练相比,可以节省大量计算资源。然而,新数据分布的变化通常会导致在以前数据上的表现下降或者对新数据适应不良。本文展示了一个简单且可扩展的学习率重新增温(LR re-warming)、重新递减(LR re-decaying)结合以前数据重播的策略足以与在所有可用数据上从零开始重新训练的模型在最终损失和语言模型(LM)评估基准上匹配性能。具体来说,我们在英语到英语(300B参数模型)内的弱分布转换和英语到德语(405M参数模型)的更强分布转换下证明了这一点。选定弱但真实的转换进行大规模实验后,我们还发现我们的持续学习策略对于10B参数LLM的新训练基线也是匹配的。我们的结果表明,LLMs可以通过简单且可扩展的持续学习策略成功更新,仅使用一小部分计算资源即可与重新训练的基线匹配。

核心方法

  • 持续性预训练:为了有效利用计算资源与适应新数据,我们提出LR重新增温和重新递减策略。
  • 加热与递减学习率:通过增温与重新递减学习率来适应新数据集是必要的。这有助于适应性,但也可能增加遗忘。
  • 数据重播:在模型训练中重放以前数据的一定比例,以防止LLMs忘记旧数据(catastrophic forgetting)。
  • 无限学习率计划:我们还提出了一个无限学习率计划,以避免因为学习率重新增温导致的遗忘。

实验说明

使用的模型质量是:405M和10B参数,数据集规模是:超过2000B tokens的大型数据集。

实验结果示例(部分):

Model Dataset Training Tokens Validation Loss
405M Pile+SP Final Pile 300B 2.4
405M Pile+SP Final SP 300B 2.75
405M SP (PT Pile) Pile Continued 2.6
405M SP (PT Pile) SP Continued 2.8
  • 模型:包括Pile训练和在Pile基础上持续训练的模型。
  • 数据集:Pile和SP(SlimPajama)。
  • 训练Tokens:显示了用于训练的tokens数量。
  • 验证损失:显示模型在Pile和SP数据集上的验证损失。

结论

我们展示了LLMs可以通过简单且可扩展的持续学习策略成功更新,只用了一小部分计算资源即可与从零开始在所有可用数据上重新训练的基线匹配。这些策略包括LR重新增温和重新递减、数据重播。通过这些策略,我们成功实现了对模型进行快速适应新数据的同时,最小化了对旧数据的遗忘

相关推荐
澹锦汐9 小时前
纯前端秋日银杏与枫叶落叶色板智能聚类器:基于 K-Means 色彩量化与直方图自动配方提取
前端·人工智能·ai·语言模型·vue·react·k-means
高洁011 天前
世界模型的因果内核:从预测表象到理解机制
人工智能·python·深度学习·transformer·迁移学习
意念回复1 天前
从 RNN 到 GQA:自注意力与多头注意力机制全解析
人工智能·rnn·深度学习
严肃小白兔2 天前
第 10/24 期:深度神经网络的自动求导机制与梯度验证
人工智能·神经网络·dnn
哈尔滨张谦蛋2 天前
兰州大学 · 甘肃省可穿戴装备重点实验室 · 2027年博士招生
人工智能·深度学习
一起学安全技术2 天前
拆大模型 11|大模型面试拷问:12 问逐层拆
人工智能·ai·语言模型·面试·职场和发展·求职招聘
chh5633 天前
从 BERT 到大模型:让模型从“会接龙”到“会回答
人工智能·深度学习·bert
学无止境小袁同学3 天前
LangGraph 深度指南
语言模型·框架·agent·并发·上下文·langgraph·长期记忆
一起学安全技术3 天前
拆大模型 10|结构化输出:让模型返回数据,而不是一段话
人工智能·语言模型·json