模型计算量估计,训练时间预测 Scaling Laws for Neural Language Models

一、模型计算量

C ≈ 6N*D

其中C表示训练语言模型所需的总计算量,N表示模型参数量,D表示用于训练的语料总量,6表示每训练一个token所需的浮点计算量约为6N,其中前向计算2N,反向计算4N。

注意:这里的6是针对Transformers,如果其它模型结构,还请重新确定每个参数的平均计算量。开了激活点检查activation checkpoint,这个系数是8。

激活检查activation checkpoint通过在前向传播过程中只存储一部分(而不是全部)的激活值来减少存储空间消耗。对于没有存储的激活值,如果在后向传播过程中需要它们,就重新计算这些值。这种方法可以显著减存储占用,但是会增加计算开销,因需要重新计算一些激活值。

举个例子

哈哈哈,还是例子好理解。

比如我现在要训练模型参数量为175B,用于训练的语料总量为300B,即

N=175B=175*10^9

D=300B=300*10^9

那么训练模型所需的总计算量为:

C ≈ 6N*D=6*175B*300B=6*175*10^9*300*10^9=3.15*10^23=3.15*10^7 PFlops

二、模型训练耗时估计

哈哈哈,都知道所需的总的计算量,那不是轻轻松松估计训练耗时。

T=C/(MFU*S)

其中C表示训练语言模型所需的总计算量,S表示训练模型所用集群的算力,MFU(Model FLOPs Utilization)训练模型时的算力利用率。

举个例子

比如我现在训练模型所需总计算量为3.15*10^7 PFlops,集群算力能力为3924.44565 PFlops/s,训练模型时的算力利用率为55.2%,即:

C =3.15*10^7 PFlops

S=3924.4 PFlops/s=卡的数量*每张卡的算力

MFU=55.2%

则训练该模型所需的时间为:

T=C/(MFU*S)=3.15*10^7/(55.2%*3924.4)=14541秒=4小时

注意:这里的算力利用率是整个训练过程中的算力利用率,有的地方的算力利用率是计算的时候的算力利用率,不考虑纯通信和集群故障。如果想获取训练总时间,这些时间需单独考虑。

视频教程:

模型计算量预测 训练时间估计_哔哩哔哩_bilibili

参考文献:

[2001.08361] Scaling Laws for Neural Language Models (arxiv.org)

相关推荐
胡耀超10 分钟前
标签体系设计与管理:从理论基础到智能化实践的综合指南
人工智能·python·深度学习·数据挖掘·大模型·用户画像·语义分析
开-悟14 分钟前
嵌入式编程-使用AI查找BUG的启发
c语言·人工智能·嵌入式硬件·bug
Ailerx15 分钟前
YOLOv13震撼发布:超图增强引领目标检测新纪元
人工智能·yolo·目标检测
大咖分享课35 分钟前
开源模型与商用模型协同开发机制设计
人工智能·开源·ai模型
你不知道我是谁?43 分钟前
AI 应用于进攻性安全
人工智能·安全
reddingtons1 小时前
Adobe高阶技巧与设计师创意思维的进阶指南
人工智能·adobe·illustrator·设计师·photoshop·创意设计·aftereffects
机器之心1 小时前
刚刚,Grok4跑分曝光:「人类最后考试」拿下45%,是Gemini 2.5两倍,但网友不信
人工智能
蹦蹦跳跳真可爱5892 小时前
Python----大模型(使用api接口调用大模型)
人工智能·python·microsoft·语言模型
小爷毛毛_卓寿杰2 小时前
突破政务文档理解瓶颈:基于多模态大模型的智能解析系统详解
人工智能·llm
Mr.Winter`2 小时前
障碍感知 | 基于3D激光雷达的三维膨胀栅格地图构建(附ROS C++仿真)
人工智能·机器人·自动驾驶·ros·具身智能·环境感知