显存和算力的关系

我们在模型的使用过程中,经常会发现一些模型显存够用但是算力跟不上,这时就会出现有关显存和算力之间的关系,尤其是有些模型会出现不吃显存但是很吃算力的情况,需要具体情况具体进行分析。

1、显存和算力的关系
概念 通俗理解 决定因素
显存(Memory) GPU 上存数据的"仓库" 模型参数大小、KV cache、大批量输入、激活值等
算力(Compute) GPU/CPU 执行矩阵乘法的"发动机" AICore/SM 数量、主频、算力峰值(TFLOPS)

显存不是抽象的"容量",而是由独立的存储芯片提供的,焊在 GPU 板卡上,常见的显存芯片是HBM和GDDR:

  • GDDR6/GDDR6X:常见于消费级显卡(RTX 系列),容量一般 8GB~24GB
  • HBM2e/HBM3:用于数据中心级(A100、H100、Ascend 910B),容量 40GB~192GB,带宽更高

决定显存大小的物理因素:

  • 显存芯片颗数与容量(比如 8 颗 × 8GB = 64GB)
  • 显存总线宽度与带宽(影响数据读写速度)
  • GPU 控制器支持的最大寻址容量

A100(80GB)用的是 HBM2e,显存芯片总容量物理就是 80GB,没法通过软件"变大"。如果模型 + KV cache 超过了 80GB,就只能拆分(分布式)或换更大显存的卡。

算力的载体是GPU 核心(SM/AI Core),算力来自 GPU 内部的计算单元(CUDA Core、Tensor Core 或 NPU AICore)。它们负责执行矩阵乘法、向量加法等浮点操作。

算力大小的主要物理决定因素:

硬件指标 含义 对算力的影响
核心数量 (SM / AICore 数量) 并行计算单元多少 决定并行能力
每核心算力 (FLOPs per core) 单核每秒能算多少次浮点 决定单位核心性能
时钟频率 (MHz/GHz) 工作频率 频率越高,算力越强
数据类型支持 (FP32 / FP16 / BF16 / INT8) 不同精度对应不同吞吐 混合精度可大幅提升算力

类似CPU的计算原则,算力 = 核心数 × 每核每周期操作数 × 主频 × (是否使用 Tensor Core 等加速单元)

2、硬件是显存和算力的根本制约
限制对象 来自硬件的物理约束
显存容量 显存芯片数量、单颗容量、控制器寻址范围
显存带宽 显存接口位宽、时钟频率
算力上限 SM/AICore 总数、主频、工艺制程、功耗散热能力
数据精度支持 硬件是否支持 FP16/BF16/INT8 等指令集

软件无法"创造"更多显存或算力,只能更高效地利用现有资源(比如通过量化节省显存,或通过并行提升利用率)。总的来说1、显存是容量限制,由 GPU 上的存储芯片决定,决定你能"装下"什么。2、算力是计算能力,由核心数量和频率决定,决定你能"算得多快"。

3、HBM

HBM(High Bandwidth Memory) 是一种专为高性能计算(HPC、AI、大模型)设计的显存技术,它最大的特点就是:

  • 带宽极高(是 GDDR6 的 3~5 倍)
  • 封装紧凑(垂直叠层 TSV 封装,距离 GPU 核心极近)
  • 功耗更低(同样带宽下耗电远小于 GDDR)
    简单说:GDDR 就像是「在主板上插内存条」;HBM 就像是「把内存直接焊在 CPU 上」,离核心更近、传得更快。
相关推荐
deephub4 小时前
深入BERT内核:用数学解密掩码语言模型的工作原理
人工智能·深度学习·语言模型·bert·transformer
PKNLP4 小时前
BERT系列模型
人工智能·深度学习·bert
格林威6 小时前
偏振相机在半导体制造的领域的应用
人工智能·深度学习·数码相机·计算机视觉·视觉检测·制造
来酱何人7 小时前
实时NLP数据处理:流数据的清洗、特征提取与模型推理适配
人工智能·深度学习·分类·nlp·bert
Theodore_10227 小时前
机器学习(6)特征工程与多项式回归
深度学习·算法·机器学习·数据分析·多项式回归
Blossom.1188 小时前
把AI“刻”进玻璃:基于飞秒激光量子缺陷的随机数生成器与边缘安全实战
人工智能·python·单片机·深度学习·神经网络·安全·机器学习
Aurora-silas9 小时前
LLM微调尝试——MAC版
人工智能·pytorch·深度学习·macos·机器学习·语言模型·自然语言处理
XIAO·宝10 小时前
深度学习------YOLOV3
人工智能·深度学习·yolo
apocalypsx11 小时前
深度学习-卷积神经网络基础
人工智能·深度学习·cnn
Rock_yzh12 小时前
AI学习日记——PyTorch深度学习快速入门:神经网络构建与训练实战
人工智能·pytorch·python·深度学习·神经网络·学习