LLM论文笔记 6: Training Compute-Optimal Large Language Models

  • Arxiv日期:2022.3.29
  • 机构:Google DeepMind

关键词

  • scaling law
  • power law
  • 参数量
  • FLOPS
  • tokes

核心结论

  1. 当前大多数大语言模型(如 GPT-3 和 Gopher)在计算预算分配上存在问题,模型参数过大而训练数据不足

  2. 计算预算计算方式(非首次提出,DeepSeek report 中被改进) FLOPS = 6ND

  3. 模型参数与训练数据的比例

  • 训练资源 ,模型参数 ,训练token数
  • 模型参数和训练数据呈相同倍率增长
  1. 不认可(Kaplan et al. 2020)提出的 a = 0.73, b = 0.27
  1. 进一步提高语言模型性能的关键在于获取更多高质量的训练数据,而不是盲目增加模型参数

  2. 数据质量 比数据规模更重要,应对训练数据进行高标准的筛选和去重,以避免数据泄漏和测试集重叠

主要方法

提出三种研究方法:

1. 固定模型大小,改变训练数据量

  • 在固定的模型大小 N 下,通过调整训练数据量(即训练的 token 数 D ),研究损失随计算预算 C 的变化趋势(估计给定 FLOPs 预算下的最优模型大小和所需的训练数据量)

  • 模型大小和训练数据量应随计算预算等比例增长

2. 固定 FLOPs,调整模型大小

  • 在固定计算预算(FLOPs) C 下,通过调整模型大小 N 和对应的训练 token 数 D ,研究损失的最小值随模型大小的变化趋势(直接研究了在特定计算预算下,最优的模型大小是多少)

  • 不同计算预算下的最优模型大小和训练数据量均与 FLOPs 呈近似线性关系

3. 拟合参数化损失函数

  • 构建一个基于模型大小 N 和训练数据量 D 的损失函数 L(N, D) ,并通过实验数据拟合其参数,推导出理论上的最优模型大小和训练数据量分配
  • 通过优化算法(L-BFGS)拟合参数 A, B, E, \alpha, \beta ,使得拟合损失函数与实验数据最为接近 / 使用 Huber 损失来提高对异常点的鲁棒性

  • 结合 FLOPs 约束 C = 6ND ,通过拉格朗日乘数法

三种方法总结:

补充

DeepSeek 技术报告中对 FLOPS=6ND 的计算方式进行了改进

参考 DeepSeek LLM Scaling Open-Source Language Models with Longtermism

提出 C = MD

使用参数 M 替代模型参数 N(认为模型参数不代表真实的计算量)

同时研究了超参数的 scaling law:超参数(batch size / lr)具有较宽的选择范围:

M / D关于C的缩放结论:

注:本系列不包括基础的知识点讲解,为笔记/大纲性质而非教程,用于论文知识点和思想和快速记忆和回顾,更多细节建议阅读论文原文

相关推荐
吕永强2 小时前
人工智能与环境:守护地球的智能防线
人工智能·科普
音元系统2 小时前
五度标调法调域统计分析工具
语言模型·自然语言处理·语音识别·输入法·语音分类
兮℡檬,2 小时前
房价预测|Pytorch
人工智能·pytorch·python
青春不败 177-3266-05203 小时前
MATLAB近红外光谱分析技术及实践技术应用
随机森林·机器学习·支持向量机·matlab·卷积神经网络·遗传算法·近红外光谱
白-胖-子7 小时前
深入剖析大模型在文本生成式 AI 产品架构中的核心地位
人工智能·架构
想要成为计算机高手8 小时前
11. isaacsim4.2教程-Transform 树与Odometry
人工智能·机器人·自动驾驶·ros·rviz·isaac sim·仿真环境
NeoFii8 小时前
Day 22: 复习
机器学习
静心问道8 小时前
InstructBLIP:通过指令微调迈向通用视觉-语言模型
人工智能·多模态·ai技术应用
宇称不守恒4.09 小时前
2025暑期—06神经网络-常见网络2
网络·人工智能·神经网络
小楓12019 小时前
醫護行業在未來會被AI淘汰嗎?
人工智能·醫療·護理·職業