GPU参数指标

以英伟达的A800卡为例,简单聊聊GPU卡的核心参数指标,A800的核心指标主要有5个,为算力、显存大小、显存带宽、功耗情况和卡间互联速率。

  • 性能:则可以理解为货车对不同货物类型的马力大小,决定能"拉动"多少重量的货,不同数据类型好比不同的货物,木板(FP16)和钢卷(FP32)对于运输要求不同,木材能拉10顿,可能钢卷就拉5顿(钢卷的放置要求高,需要配套各种固定装置);
  • 显存:可以理解为货车的车厢,能够放下多大"尺寸"的物品,这个需要和算力匹配,避免吕布骑狗或者小马拉大车。
  • 显存带宽:这个可以理解为装卸货的速度,带宽越大装卸"一车"货物的时间越快。这个与GPU显存类型有关,比如A800 SXM 的为HBM2e,就高达2TB/s;就像货车中装了自动装卸货装置,卸货效率飞起,而普通显卡的GDDR6则相当于人工,效率就慢了很多。
  • 卡间互联:2个A800通过nvlink互联,主要是实现了显存容量共享,相当于把2个货车的车厢相加,可以放下更大的货物。现在的大模型可以比作一个家具,一张GPU的显存放不的下大模型,可以多卡互联扩大显存来实现,而一个货车的车厢装不下,可以把两个货车的车厢合成一个(这个比喻可能有点不恰当);
  • 功耗TDP:这个更好理解就像货车的油耗,拉相同重量的货物,油耗越低肯定越好。

  • 流处理器:也叫渲染管、着色器。画面都是由一个又一个像素点组成的,而流处理器就负责这些像素点的渲染工作;

  • RT核心:光追核心,用作于光线追踪效果;

  • CUDA 核心和Tensor 核心:CUDA Core和Tensor Core,为GPU提供计算能力的硬件单元。CUDA core也叫Streaming Processor(SP),是单精度,组成SM的重要部分。Core的数量越多,并行运算的线程越大,计算的峰值越高。

  • 显存容量:显存容量决定着显存临时存储数据的多少,大显存能减少读取数据的次数,降低延迟;

  • 显存带宽:显存带宽,指显示芯片与显存之间的数据传输速率,单位是字节/秒。显卡的显存是由一块块的显存芯片构成的,显存总位宽同样也是由显存颗粒的位宽组成,显存带宽=显存频率×显存位宽/8。显存带宽是决定显卡性能和速度最重要的因素之一。

  • 显存位宽:是显存在一个时钟周期内所能传送数据的位数,位数越大则瞬间所能传输的数据量越大,这是显存的重要参数之一;

  • 浮点性能:代表显卡的浮点计算能力,越高算力越强,深度学习、科学计算用途较多;

  • 核心代号:显卡核心代号就是指显卡的显示核心的开发代号。

  • 核心频率:指显示核心的工作频率,其工作频率在一定程度上可以反映出显示核心的性能;

  • 加速频率:指显示核心的工作频率最高可达频率。

  • Vulkan API:Vulkan API 是一种跨平台的图形接口,能提供更高的图形性能和更低的能耗。支持 Vulkan API 的显卡在运行 Vulkan 游戏或应用时性能更佳。这对于追求高帧率、低延迟的游戏玩家来说是一个重要的参数。

  • DirectX 支持:DirectX 是微软开发的一组多媒体编程接口,用于处理图形、音频和输入输出等多媒体任务。支持 DirectX 的显卡通常在运行 DirectX 游戏时性能更佳。因此,如果您是一个热衷于玩 DirectX 游戏的游戏玩家,那么这一参数对您来说尤为重要。

  • 热设计功耗(TDP):它指的是显卡运行时所产生的最大热量输出。TDP 越低,显卡的散热和电源需求就越低,相应的成本也越低。因此,在选择显卡时,应根据自己的需求和预算来平衡 TDP 与性能的关系。

参考:

https://xie.infoq.cn/article/fcd73ab3509b7eb4a5757a743

相关推荐
探索云原生3 天前
大模型推理指南:使用 vLLM 实现高效推理
ai·云原生·kubernetes·gpu·vllm
若石之上6 天前
DeepSpeed:PyTorch优化库,使模型分布式训练能高效使用内存和更快速
pytorch·内存·gpu·deepspeed·速度·zero
qiang426 天前
想租用显卡训练自己的网络?AutoDL保姆级使用教程(PyCharm版)
pycharm·gpu·autodl·租显卡
扫地的小何尚9 天前
NVIDIA RTX 系统上使用 llama.cpp 加速 LLM
人工智能·aigc·llama·gpu·nvidia·cuda·英伟达
藓类少女10 天前
【深度学习】使用硬件加速模型训练速度
人工智能·深度学习·分布式训练·gpu
centurysee11 天前
【一文搞懂】GPU硬件拓扑与传输速度
gpu·nvidia
探索云原生17 天前
GPU 环境搭建指南:如何在裸机、Docker、K8s 等环境中使用 GPU
ai·云原生·kubernetes·go·gpu
一个处女座的程序猿17 天前
AI之硬件对比:据传英伟达Nvidia2025年将推出RTX 5090-32GB/RTX 5080-24GB、华为2025年推出910C/910D
人工智能·gpu
GPUStack20 天前
在昇腾Ascend 910B上运行Qwen2.5推理
ai·大模型·gpu·npu·genai