【AI学习】LLaMA模型的微调成本有几何?

在前面文章《LLaMA 系列模型的进化(二)》中提到了Stanford Alpaca模型。

Stanford Alpaca 基于LLaMA (7B) 进行微调,通过使用 Self-Instruct 方法借助大语言模型进行自动化的指令生成,Stanford Alpaca 生成了 52K 条指令遵循样例数据(Alpaca-52K)用于训练。

据说,这个训练成本不到600美元。那这个成本是如何计算的呢?
训练成本 :在8个80GB A100 上训练了3个小时,不到100美元;
数据成本 :生成数据使用OpenAl的API,500美元。这里就是通过使用 Self-Instruct 方法,使用了OpenAl的接口的调用成本。

在前面文章《英伟达ChipNeMo,一个领域大模型的训练案例》里,介绍了领域大模型的训练过程。如下图:

对应的训练时长为:

使用 128 个 A100 GPU 进行了训练。ChipNeMo 的领域适配预训练成本(包括基于领域数据的继续预训练和SFT),具体见下表,单位是A100 GPU hours

ChipNeMo 的领域适配预训练成本,对比从头开始预训练基础模型的总成本不到 1.5%。

以LLaMa 7B模型的训练来说,总训练时长=2710,按照前面"在8个80GB A100 上训练了3个小时,不到100美元"的成本折算,成本应该小于11300美金

13B模型,总训练时长=5100,成本应该小于21250美金

70B模型,总训练时长=21340,成本应该小于88920美金

至于数据,ChipNeMo 的领域适配预训练需要24B以上的数据,这个可能与相应的数据积累有很大关系,不好计算了。

相关推荐
蜡笔小电芯11 分钟前
【OpenCV】第一章——基础知识
人工智能·opencv·计算机视觉
jndingxin12 分钟前
OpenCV 图形API(71)图像与通道拼接函数-----从图像(GMat)中裁剪出一个矩形区域的操作函数 crop()
人工智能·opencv·计算机视觉
亚图跨际1 小时前
大脑、机器人与贝叶斯信念及AI推理
人工智能·机器人
liang89991 小时前
Shiro学习(七):总结Shiro 与Redis 整合过程中的2个问题及解决方案
redis·学习·bootstrap
MonkeyKing_sunyuhua1 小时前
6.1 客户服务:智能客服与自动化支持系统的构建
人工智能·agent
weixin_486281452 小时前
FFmpeg源码学习---ffmpeg
学习·ffmpeg
啊阿狸不会拉杆2 小时前
人工智能数学基础(三):微积分初步
人工智能·python·算法·数学建模
蜂耘3 小时前
面向人工智能、量子科技、人形机器人等产业,山东启动制造业创新中心培育认定
人工智能·科技·机器人
CodeCipher3 小时前
Java后端程序员学习前端之html
学习·html5
深眸财经3 小时前
业绩回暖、股价承压,三只松鼠赴港上市能否重构价值锚点?
人工智能