探索大语言模型(LLM): 大模型应用与对应的硬件选型一览表

大模型应用与硬件怎么选?看这几张表就够了

一、先认识常见的NVIDIA显卡系列

不同系列的显卡,适合的人群和做的事不一样,看下面的表就清楚啦。

系列 主要能干啥 适合谁用
RTX 面向普通用户,能打游戏、做图形渲染,也能搞点简单的人工智能学习任务 游戏玩家、AI 初学者
A 系列 性能很强,适合大规模人工智能模型的训练和推理 数据中心、AI 研究团队
A800 是 A 系列专门为中国市场做的,性能稍低,但符合中国市场需求 中国市场搞大模型训练和推理的
H 系列 NVIDIA 的高端显卡,能支持超大模型(像 GPT - 3/4 这种)的训练 超大规 AI 项目、HPC 任务
H800 H 系列专门为中国市场做的,性能稍低,适合中国市场 中国市场搞大模型训练和推理的
L 系列 专业做图形和推理的显卡,适合数据可视化和简单的推理任务 数据分析师、工作站用户
T 系列 入门级显卡,功耗低,适合推理和虚拟化任务 节能型数据中心、云服务

二、大模型推理时的硬件选择

推理就是大模型部署后回答问题的过程,不同大小、精度的模型,对显存和显卡要求不同,看表:

模型尺寸 精度 显存需求(GB) 推荐显卡
7B FP16 12 RTX 4080 / RTX 4090
7B INT8 8 RTX 4080 / T4
7B INT4 6 RTX 4080 / RTX 3060
7B INT2 4 RTX 3060 / RTX 4080
13B FP16 24 RTX 4090
13B INT8 16 RTX 4090
13B INT4 12 RTX 4090 / RTX 4080
13B INT2 8 RTX 4080 / RTX 4090
30B FP16 60 A100 (40GB) * 2
30B INT8 40 L40 (48GB)
30B INT4 24 RTX 4090
30B INT2 16 T4 (16GB)
70B FP16 120 A100 (80GB) * 2
70B INT8 80 L40 (48GB) * 2
70B INT4 48 L40 (48GB)
70B INT2 32 RTX 4090
110B FP16 200 H100 (80GB) * 3
110B INT8 140 H100 (80GB) * 2
110B INT4 72 A10 (24GB) * 3
110B INT2 48 A10 (24GB) * 2

三、大模型训练时的硬件选择

训练是让大模型从无到有或变得更好的过程,对硬件要求高,看表:

模型尺寸 精度 显存需求(GB) 推荐硬件配置
7B AMP 120 A100 (40GB) * 3
7B FP16 60 A100 (40GB) * 2
13B AMP 240 A100 (80GB) * 3
13B FP16 120 A100 (80GB) * 2
30B AMP 600 H100 (80GB) * 8
30B FP16 300 H100 (80GB) * 4
70B AMP 1200 H100 (80GB) * 16
70B FP16 600 H100 (80GB) * 8
110B AMP 2000 H100 (80GB) * 25
110B FP16 900 H100 (80GB) * 12

四、大模型高效微调时的硬件选择

高效微调是在已有大模型基础上,用少量数据适配特定任务,硬件选择更灵活,看表:

模型尺寸 精度 显存需求(GB) 推荐硬件配置
7B Freeze (FP16) 20 RTX 4090
7B LoRA (FP16) 16 RTX 4090
7B QLoRA (INT8) 10 RTX 4080
7B QLoRA (INT4) 6 RTX 3060
13B Freeze (FP16) 40 RTX 4090 / A100 (40GB)
13B LoRA (FP16) 32 A100 (40GB)
13B QLoRA (INT8) 20 L40 (48GB)
13B QLoRA (INT4) 12 RTX 4090
30B Freeze (FP16) 80 A100 (80GB)
30B LoRA (FP16) 64 A100 (80GB)
30B QLoRA (INT8) 40 L40 (48GB)
30B QLoRA (INT4) 24 RTX 4090
70B Freeze (FP16) 200 H100 (80GB) * 3
70B LoRA (FP16) 160 H100 (80GB) * 2
70B QLoRA (INT8) 80 H100 (80GB)
70B QLoRA (INT4) 48 L40 (48GB)
110B Freeze (FP16) 360 H100 (80GB) * 5
110B LoRA (FP16) 240 H100 (80GB) * 3
110B QLoRA (INT8) 140 H100 (80GB) * 2
110B QLoRA (INT4) 72 A10 (24GB) * 3

简单来说,大模型推理要平衡性能和成本,训练要追求高性能,高效微调更灵活。大家可以根据自己的需求,对照上面的表格选硬件~

相关推荐
凌冰_14 小时前
数据结构 - 时间空间复杂度(一)
数据结构·算法·软件工程
Pniubi15 小时前
力扣2 . 两数相加
算法·leetcode·职场和发展
戴·菲瑜15 小时前
为什么PPO难以做出顶级棋类引擎
算法·博弈论·rl·ppo
在所不辞兄17 小时前
为什么数字孪生驱动的产线标定需要在线更新机制,而不能一次标定后长期沿用?
人工智能·神经网络·其他·算法·机器学习
AvocadoZeroOneOI1 天前
B4500 [GESP202603 三级] 凯撒密码 详细解题报告
c++·算法
cjz38991 天前
双指针技巧:覆盖式双指针(原地覆盖)
算法
橘子131 天前
【高级数据库】关系代数基本概念
算法
电科_银尘2 天前
【大模型算法与工程 15】手写Self-Attention:Q、K、V与缩放点积
算法
郝学胜-神的一滴2 天前
Effective STL 条款03:容器中的对象复制要廉价且正确
开发语言·数据结构·c++·算法·rpc·stl
秋天的怀念_David2 天前
算法一千零一夜 · 第三十三夜 · 跳表
java·程序人生·算法