常见的GPU性能对比

yutianzuijin2024-09-03 22:26

写这篇博客的目的就是想搞清楚英伟达不同显卡之间的性能差异以及移动端GPU的性能达到了英伟达显卡的哪一代，让自己也让大家明白不同显卡的算力差异。所有的数据均从网络搜索，有不正确的地方欢迎批评指正。同一显卡会有一个首次发布，此外还有一系列的迭代升级版本，我们只考虑首次发布版本的性能。鉴于现在的模型推理大多使用int8来进行推理，所以大家可以着重看一下int8算力那一列。

1. 英伟达GPU

|-----------|----------|---------|--------|--------|--------|-------|--------------|------|------|---------|
| 型号 | 显存带宽 | 显存位宽 | fp32算力 | fp16算力 | int8算力 | TDP功耗 | 架构 | 制程 | 计算能力 | 首次发布 |
| GTX1080 | 320GB/s | 256bit | 8.9T | 138G | 35.5T | 180W | Pascal | 14nm | 6.1 | 2016.05 |
| GTX1080Ti | 484GB/s | 352bit | 11.3T | 177G | 45.2T | 250W | Pascal | 14nm | 6.1 | 2017.03 |
| P4 | 192GB/s | 256bit | 5T | X | 20T | 75W | Pascal | 14nm | 6.1 | 2016.09 |
| V100 PCIe | 900GB/s | 4096bit | 14T | 112T | 224T | 250W | Volta | 12nm | 7.0 | 2018.03 |
| RTX2080 | 448GB/s | 256bit | 10T | 20T | 80T | 215W | Turing | 12nm | 7.5 | 2018.09 |
| RTX2080Ti | 616GB/s | 352bit | 13.4T | 26.9T | 108T | 250W | Turing | 12nm | 7.5 | 2018.09 |
| T4 | 320GB/s | 256bit | 8.1T | 64.8T | 130T | 70W | Turing | 12nm | 7.5 | 2018.09 |
| A100 PCIe | 1935GB/s | 5120bit | 156T | 312T | 624T | 300W | Ampere | 7nm | 8.0 | 2020.05 |
| A100 SXM | 2039GB/s | 5120bit | 312T | 624T | 1248T | 400W | Ampere | 7nm | 8.0 | 2020.05 |
| RTX3070 | 448GB/s | 256bit | 20T | 40T | 163T | 220W | Ampere | 7nm | 8.6 | 2020.10 |
| RTX3080 | 760GB/s | 320bit | 30T | 60T | 238T | 350W | Ampere | 7nm | 8.6 | 2020.09 |
| RTX3090 | 936GB/s | 384bit | 35.6T | 71.2T | 285T | 350W | Ampere | 7nm | 8.6 | 2020.09 |
| RTX3090Ti | 1008GB/s | 384bit | 40T | 80T | 321T | 450W | Ampere | 7nm | 8.6 | 2022.03 |
| RTX4060 | 272GB/s | 128bit | 15.1T | 30.2T | 242T | 115W | Ada Lovelace | 5nm | 8.9 | 2023.06 |
| RTX4070 | 504GB/s | 192bit | 29.1T | 58.2T | 466T | 200W | Ada Lovelace | 5nm | 8.9 | 2023.04 |
| RTX4080 | 504GB/s | 192bit | 40.1T | 80.2T | 780T | 320W | Ada Lovelace | 5nm | 8.9 | 2022.11 |
| RTX4090 | 1008GB/s | 384bit | 82.6T | 165.2T | 1321T | 450W | Ada Lovelace | 5nm | 8.9 | 2022.10 |
| H100 SXM | 3.35TB/s | 5120bit | 989T | 1929T | 3958T | 700W | Hopper | 4nm | 9.0 | 2022.03 |

参考：

  1. 不用老黄上场，看我如何用GTX1080来撕谷歌的TPU
  2. RTX2080和GTX1080哪个值得买 GTX1080和RTX2080区别对比评测
  3. NVIDA GPU卡SXM和PCIe之间的差异性，一偏文章帮你分析清楚
  4. NVDIA GPU参数列表： 3090，4090， A40， A30，V100， A100， A800性能参数
  5. Your GPU Compute Capability
  6. NVIDIA T4
  7. ++++List of Nvidia graphics processing units++++
  8. 巅峰对决：英伟达 V100、A100/800、H100/800 GPU 对比

2. 移动端CPU

移动端CPU的芯片包含GPU和NPU，但是从算力上来讲，NPU的算力要远大于GPU，所以我们更关注NPU的算力。苹果M系列芯片虽然也是用在桌面端的，但是属于CPU内部集成了GPU和NPU，我们也把它放在移动端CPU里。

2.1 高通骁龙系列：

|--------|----------|------------|-------|-------------|------------|-------|------|--------|
| | 内存带宽 | GPU型号 | GPU算力 | NPU型号 | NPU int8算力 | TDP功耗 | 制程 | 发布时间 |
| 845 | 29.8GB/s | Adreno 630 | 0.7T | Hexagon 685 | 3T | 9W | 10nm | 2018Q1 |
| 855 | 34.1GB/s | Adreno 640 | 0.9T | Hexagon 690 | 7T | 6W | 7nm | 2019Q1 |
| 865 | 34.1GB/s | Adreno 650 | 0.9T | Hexagon 698 | 15T | 5W | 7nm | 2020Q1 |
| 870 | 34.1GB/s | Adreno 650 | 1T | Hexagon 698 | 15T | 6W | 7nm | 2021Q1 |
| 888 | 51.2GB/s | Adreno 660 | 1.3T | Hexagon 780 | 26T | 8W | 5nm | 2021Q1 |
| 888+ | 51.2GB/s | Adreno 660 | 1.3T | Hexagon 780 | 32T | 8W | 5nm | 2021Q3 |
| 8gen1 | 51.2GB/s | Adreno 730 | 1.7T | Hexagon 790 | 52T | 5.3W | 4nm | 2021Q4 |
| 8+gen1 | 51.2GB/s | Adreno 730 | 1.8T | Hexagon 790 | 52T | 6W | 4nm | 2022Q2 |
| 8gen2 | 67.2GB/s | Adreno 740 | 2.1T | Hexagon | ? | 6.3W | 4nm | 2022Q4 |
| 8gen3 | 76.8GB/s | Adreno 750 | 2.8T | Hexagon | 73T? | 6.3W | 4nm | 2023Q4 |

参考：

  1. 四大升级！骁龙8 Gen3这下稳了：高通一代神U
  2. ++++List of Qualcomm Snapdragon systems on chips++++

2.2 联发科天玑系列：

|-------|----------------|-------|---------|------------|-----|--------|
| | GPU型号 | GPU算力 | NPU型号 | NPU int8算力 | 制程 | 发布时间 |
| 8100 | Mali G610 | 0.9T | APU 580 | | 5nm | 2022Q1 |
| 8200 | Mali G610 | | APU 580 | | 4nm | 2022Q4 |
| 8300 | Mali G615 | | APU 780 | | 4nm | 2023Q4 |
| 9000 | Mali G710 | 1.6T | APU 590 | | 4nm | 2021Q4 |
| 9200 | Immortali G715 | | APU 690 | | 4nm | 2022Q4 |
| 9200+ | Immortali G715 | | APU 690 | | 4nm | 2023Q2 |
| 9300 | Immortali G720 | | APU 790 | | 4nm | 2023Q4 |
| 9300+ | Immortali G720 | | APU 790 | | 4nm | 2024Q2 |

搜不到相关信息，欢迎提供资料。

参考：

1.List of MediaTek systems on chips

2.3 苹果A系列：

|-------------|----------|-------|--------|-------|------|--------|
| | 内存带宽 | GPU算力 | int8算力 | TDP功耗 | 制程 | 发布时间 |
| A11 Bionic | 34.1GB/s | 0.4T | 0.6T | 8W | 10nm | 2017Q3 |
| A12 Bionic | 34.1GB/s | 0.6T | 5T | 6W | 7nm | 2018Q3 |
| A12X Bionic | 68.2GB/s | 1T | 5T | | 7nm | 2018Q4 |
| A12Z Bionic | 68.2GB/s | 1.1T | 5T | | 7nm | 2020Q1 |
| A13 Bionic | 34.1GB/s | 0.7T | 5.5T | 6W | 7nm | 2019Q3 |
| A14 Bionic | 34.1GB/s | 0.7T | 11T | 6W | 5nm | 2020Q4 |
| A15 Bionic | 34.1GB/s | 1.7T | 15.8T | 6W | 5nm | 2021Q3 |
| A16 Bionic | 51.2GB/s | 1.8T | 17T | 8W | 4nm | 2022Q3 |
| A17Pro | 51.2GB/s | 2.1T | 35T | 8W | 3nm | 2023Q3 |

参考：

  1. Apple silicon
  2. Snapdragon 8 Gen 3 vs A17 Pro
  3. Snapdragon 8 Gen 3 vs A16 Bionic

2.4 苹果M系列：

|----------|---------|---------|--------|--------|-----|--------|
| | 内存带宽 | 内存位宽 | FP32算力 | int8算力 | 制程 | 发布时间 |
| M1 | 68GB/s | 128bit | 2.6T | 11T | 5nm | 2020Q4 |
| M1 Pro | 205GB/s | 256bit | 5.3T | 11T | 5nm | 2021Q4 |
| M1 Max | 410GB/s | 512bit | 10.6T | 11T | 5nm | 2021Q4 |
| M1 Ultra | 819GB/s | 1024bit | 21.2T | 22T | 5nm | 2022Q1 |
| M2 | 102GB/s | 128bit | 3.6T | 16T | 5nm | 2022Q2 |
| M2 Pro | 205GB/s | 256bit | 6.8T | 16T | 5nm | 2023Q1 |
| M2 Max | 410GB/s | 512bit | 13.6T | 16T | 5nm | 2023Q1 |
| M2 Ultra | 819GB/s | 1024bit | 27T | 32T | 5nm | 2023Q2 |
| M3 | 102GB/s | 128bit | 3.5T | 18T | 3nm | 2023Q4 |
| M3 Pro | 153GB/s | 192bit | 6.4T | 18T | 3nm | 2023Q4 |
| M3 Max | 410GB/s | 512bit | 14T | 18T | 3nm | 2023Q4 |
| M4 | 120GB/s | 128bit | 3.7T | 38T | 3nm | 2024Q2 |

参考：

  1. Apple silicon

3. 一些结论

  1. 目前最强的GPU芯片当属NVIDIA H100，当然很快就会被B100所替代，其他家的芯片难以望其项背，而且差距没有缩小的迹象；
  2. 骁龙8gen3芯片的NPU算力搜不到，大概预估在100T左右，也就刚到18年GTX2080Ti的水准，说明目前的移动端GPU比桌面端GPU要落后6年以上，而且受限于移动端的功耗和尺寸限制，这个差距应该永远无法缩小了。不过也不用太过灰心，18年的时候深度学习已经非常火热，也出现了很多成熟的AI落地，再加上这几年AI的持续进步，所以当下的AI模型在端侧的水准是肯定高于18年的；
  3. 目前英伟达的主流芯片：4090，A100，H100我们该如何选择？有钱有途径那肯定是H100。我们从需求侧来分析，假设你的需求是计算密集型的，4090足够了，它的int8性能比A100高性能版都要强；但是如果你的需求是通信密集型的，还是A100和H100更合适，因为它们的显存带宽会更大；
  4. 苹果手机卖得贵一个原因就是大家认为它的芯片好，但是从NPU的性能上来看，它不值现在的价格，有点被高估。从我们实际做实验的结论来看，苹果的NPU算力确实没有高通骁龙强，不过还是要强于联发科天玑芯片。

4. 一些猜测

  1. 英伟达GPU的性能上限可以到多少？B100还没有上市，但是芯片制程应该是3nm，高性能版的int8算力应该可以达到8P左右。假设芯片制程最低可以到1nm，我们推测GPU芯片的性能还可以继续提升，即使到达瓶颈还可以通过堆叠的方式进一步扩大芯片规模。此外，后续的主流推理可能开始使用int4或者fp4格式，这样就可以使得算力再加倍。我个人推测在未来10年，英伟达的芯片算力会持续提升，int8算力的上限有望达到100p，也即一张卡可以抵100张A100，当然那时的功耗也会比较夸张；
  2. 移动端GPU的性能上限能到多少呢？相比桌面端GPU，我个人持谨慎悲观的态度。单颗芯片的NPU算力上限可能也就到500T以内，达到4070的水平。但是移动端是否也可以通过多卡的方式实现算力的暴增呢，这也说不定；
  3. 很多人说今年是AI PC的元年，我理解真正实现AI PC的推广，算力至少要达到4090这个水准，也即单卡的算力要到1P以上。那么AI手机什么时候真正出现呢，我觉得可能用不了6年那么久（移动端GPU追上当下桌面端GPU性能的时间），随着AI的快速迭代，可能也就3、4年即2027年就会出现真正意义上的AI手机；
  4. 现在我们主要关注的性能指标就是int8推理和显存带宽，再过一年说不定关注的重点就变成int4推理性能和显存带宽了。
相关推荐
HPC_fac130520678162 天前
科研深度学习：如何精选GPU以优化服务器性能
服务器·人工智能·深度学习·神经网络·机器学习·数据挖掘·gpu算力
HPC_fac130520678163 天前
以科学计算为切入点：剖析英伟达服务器过热难题
服务器·人工智能·深度学习·机器学习·计算机视觉·数据挖掘·gpu算力
龙的爹23333 天前
论文翻译 | RECITATION-AUGMENTED LANGUAGE MODELS
人工智能·语言模型·自然语言处理·prompt·gpu算力
算家云4 天前
VideoCrafter模型部署教程
人工智能·深度学习·机器学习·显卡·算力·视频生成·ai视频编辑
AI狂热爱好者10 天前
A3超级计算机虚拟机，为大型语言模型LLM和AIGC提供强大算力支持
服务器·人工智能·ai·gpu算力
10 柒_Ace10 天前
壁仞科技上市前最后一波 校招 社招 内推
gpu算力
扫地的小何尚11 天前
NVIDIA RTX 系统上使用 llama.cpp 加速 LLM
人工智能·aigc·llama·gpu·nvidia·cuda·英伟达
YSRM11 天前
Experimental Analysis of Dedicated GPU in Virtual Framework using vGPU 论文分析
算法·gpu算力·vgpu·pci直通
AI小白日记12 天前
深入探索AutoDL平台：深度学习GPU算力最佳选择
人工智能·深度学习·gpu算力
神秘的土鸡13 天前
丹摩征文活动 | SD3+ComfyUI的图像部署实践
人工智能·云计算·aigc·ai绘画·gpu算力·安全架构
热门推荐
01Docker 夺命连环 15 问02PyTorch机器学习实现液态神经网络03【HarmonyOS】HUAWEI DevEco Studio 下载地址汇总04抖音的互联网架构05Coze扣子平台完整体验和实践（附国内和国际版对比）06(欧拉)openEuler系统添加网卡文件配置流程、(欧拉)openEuler系统手动配置ipv6地址流程、(欧拉)openEuler系统网络管理说明07国内外大模型汇总：Open AI大模型、Google大模型、Microsoft大模型、文心一言大模型、通义千问大模型、字节豆包大模型、智普清言大模型08玄机平台应急响应—webshell查杀09RAG 实践- Ollama+RagFlow 部署本地知识库10【凡人修仙传_01】散修厉飞羽是如何出师未捷身先死的！