从 0 开始学 AI：第 4 课，CPU、GPU、显存和算力基础

从 0 开始学 AI：第 4 课，CPU、GPU、显存和算力基础

• [1. 这一课要解决什么问题？](#1. 这一课要解决什么问题？)
• [2. AI 为什么需要硬件算力？](#2. AI 为什么需要硬件算力？)
• [3. CPU 是什么？](#3. CPU 是什么？)
• [4. GPU 是什么？](#4. GPU 是什么？)
• [5. CPU 和 GPU 的核心区别](#5. CPU 和 GPU 的核心区别)
• [6. 为什么 AI 特别适合用 GPU？](#6. 为什么 AI 特别适合用 GPU？)
• [7. 显存是什么？](#7. 显存是什么？)
• [8. 为什么显存对 AI 很重要？](#8. 为什么显存对 AI 很重要？)
• [9. 模型大小和显存有什么关系？](#9. 模型大小和显存有什么关系？)
• [10. 训练和推理对硬件的要求](#10. 训练和推理对硬件的要求)
• • 训练
  • 推理
• [11. 什么是量化？](#11. 什么是量化？)
• [12. 普通人学习 AI 需要买高端 GPU 吗？](#12. 普通人学习 AI 需要买高端 GPU 吗？)
• [13. 常见误区](#13. 常见误区)
• • [误区 1：CPU 很强就能很好地跑大模型](#误区 1：CPU 很强就能很好地跑大模型)
  • [误区 2：GPU 强就一定能跑所有模型](#误区 2：GPU 强就一定能跑所有模型)
  • [误区 3：显存越大，AI 一定越聪明](#误区 3：显存越大，AI 一定越聪明)
  • [误区 4：普通人必须买高端 GPU 才能学 AI](#误区 4：普通人必须买高端 GPU 才能学 AI)
• [14. 本课核心总结](#14. 本课核心总结)
• [15. 本课自测问题](#15. 本课自测问题)

1. 这一课要解决什么问题？

前面我们学到：

数据是 AI 学习的材料。
算法是 AI 学习的方法。
算力是 AI 学习和运行的动力。

这一课继续理解 AI 背后的硬件基础：

• CPU 是什么？
• GPU 是什么？
• AI 为什么特别依赖 GPU？
• 显存为什么重要？
• 普通人学习 AI 是否必须买高端 GPU？

---

2. AI 为什么需要硬件算力？

AI 模型处理图片、文字、语音时，计算机并不是直接理解这些内容，而是先把它们转换成数字。

例如：

图片 → 像素数字
文字 → Token 数字
语音 → 数字信号

模型处理这些数字时，会进行大量计算，尤其是：

• 矩阵运算
• 向量运算
• 加权求和
• 神经网络计算

所以，AI 不是凭空"思考"，而是在硬件上进行大量数字计算。

一句话理解：

AI 的训练和推理都离不开算力。

---

3. CPU 是什么？

CPU，全称是 Central Processing Unit，中文叫中央处理器。

可以把 CPU 理解成：

电脑的总指挥。

CPU 擅长：

• 运行操作系统
• 执行程序逻辑
• 处理复杂判断
• 调度不同任务
• 管理输入输出
• 运行普通软件

CPU 的特点是：

通用性强
适合复杂逻辑
适合任务调度
单个核心能力强

比如下面这些任务，CPU 很擅长：

如果用户点击按钮，就打开页面。
如果订单金额大于 1000，就打折。
读取文件并保存结果。
根据不同条件执行不同逻辑。

一句话总结：

CPU 擅长复杂逻辑和通用任务，是电脑里的总指挥。

---

4. GPU 是什么？

GPU，全称是 Graphics Processing Unit，中文叫图形处理器。

GPU 最早主要用于图形渲染，比如游戏画面、3D 图像、视频处理。

后来人们发现，GPU 非常适合 AI，因为它擅长：

同时处理大量相似计算。

可以这样类比：

CPU 像一个能力很强的总指挥，擅长复杂决策。
GPU 像一大批工人，擅长同时处理大量重复任务。

GPU 的特点是：

并行能力强
适合大量重复计算
适合矩阵和向量运算
适合深度学习和大模型计算

一句话总结：

GPU 擅长大规模并行计算，是 AI 训练和推理的重要硬件。

---

5. CPU 和 GPU 的核心区别

对比项	CPU	GPU
角色	总指挥	并行计算工厂
擅长任务	复杂逻辑、任务调度、通用计算	大量相似计算、并行计算
适合场景	操作系统、普通程序、业务逻辑	图像处理、矩阵运算、AI 计算
类比	厂长 / 指挥官	大量工人

简单理解：

CPU 适合处理复杂但数量没那么大的任务。
GPU 适合处理简单但数量非常大的任务。

---

6. 为什么 AI 特别适合用 GPU？

AI 里有大量计算，尤其是深度学习和大模型。

这些计算通常具有几个特点：

数量巨大
形式相似
可以并行

例如：

• 图片识别要处理大量像素数字。
• 语音识别要处理大量声音信号。
• 大语言模型要处理大量向量和矩阵。
• 神经网络训练要不断计算和调整参数。

这些任务正好适合 GPU。

所以：

AI 特别依赖 GPU，是因为 GPU 擅长同时处理大量相似计算。

---

7. 显存是什么？

显存，也叫 VRAM，是 GPU 使用的高速存储空间。

可以把显存理解成：

GPU 的工作台。

显存主要用来存放：

• 模型参数
• 输入数据
• 中间计算结果
• 缓存数据

对比如下：

名称	主要给谁用	作用
内存 RAM	CPU	存放程序运行时的数据
显存 VRAM	GPU	存放模型、输入数据和计算结果
硬盘	CPU / GPU 都可读取	长期保存文件和模型

一句话总结：

显存是 GPU 工作时临时存放模型和数据的地方。

---

8. 为什么显存对 AI 很重要？

大模型运行时，需要把很多内容放进显存。

包括：

模型参数
输入内容
中间计算结果
上下文缓存

如果显存不够，可能会出现：

• 模型加载失败
• 只能运行更小模型
• 需要使用量化模型
• 推理速度变慢
• 上下文长度受限
• 训练无法开始

可以用桌子来类比：

显存 = 工作桌
模型 = 要摊开的资料
计算过程 = 正在处理的任务

如果桌子太小，资料放不下，工作就很难顺利进行。

所以：

显存大小直接影响能不能运行大模型，以及运行是否顺畅。

---

9. 模型大小和显存有什么关系？

大模型经常会看到这样的说法：

7B 模型
13B 模型
70B 模型

这里的 B 是 Billion，表示十亿。

例如：

7B = 70 亿参数
13B = 130 亿参数
70B = 700 亿参数

参数可以先理解成模型内部学到的大量数字。

一般来说：

参数越多 → 模型越大 → 占用显存越多

不过，实际显存占用还会受到这些因素影响：

• 参数精度
• 是否量化
• 上下文长度
• 批量大小
• 是训练还是推理

第一轮学习只需要先记住：

模型越大，通常越吃显存；训练比推理更吃显存。

---

10. 训练和推理对硬件的要求

训练和推理都需要算力，但要求不同。

训练

训练是模型学习的过程。

训练时模型需要反复：

读取数据
做出预测
计算误差
调整参数
继续训练

训练通常需要：

• 更强 GPU
• 更多显存
• 更多时间
• 更多电力
• 更多数据

所以训练大模型成本很高。

推理

推理是模型训练好之后的使用过程。

例如：

用户输入一个问题
模型生成回答

推理通常比训练轻一些，但如果模型很大、用户很多、上下文很长，推理成本也会很高。

简单对比：

阶段	含义	硬件压力
训练	让模型学习	很高
推理	使用模型回答问题	相对较低，但大规模使用也很高

---

11. 什么是量化？

量化是一种降低模型显存占用的方法。

模型参数本质上是大量数字。

这些数字可以用不同精度保存。

简单理解：

高精度参数：占空间大，信息更完整
低精度参数：占空间小，可能有轻微损失

量化就是：

用更省空间的方式保存模型参数，从而降低显存占用。

类比一下：

高清图片 → 文件大，质量高
压缩图片 → 文件小，质量可能略有损失

量化模型也是类似：

原始模型 → 占显存大
量化模型 → 占显存小，更容易本地运行

但要注意：

量化可以降低显存占用，但可能带来一定效果损失。

---

12. 普通人学习 AI 需要买高端 GPU 吗？

一开始不需要。

对于 0 基础学习 AI，前期重点是：

• 理解 AI 概念
• 学习 Python
• 使用现成模型
• 调用 AI API
• 学习 Prompt
• 做简单 AI 应用
• 学习 RAG 和 Agent

这些内容不需要从 0 训练大模型，也不需要高端 GPU。

普通人可以先使用：

• 在线 AI 工具
• 云端模型
• API
• 开源平台
• 免费或低成本云计算资源

等后面真正需要做本地部署、模型微调、推理优化、GPU 编程时，再考虑硬件升级。

一句话总结：

学 AI 不需要一开始就买高端 GPU，先学概念和应用更重要。

---

13. 常见误区

误区 1：CPU 很强就能很好地跑大模型

不一定。

CPU 可以运行一些模型，但大模型需要大量并行计算，GPU 通常更适合。

---

误区 2：GPU 强就一定能跑所有模型

不一定。

除了 GPU 计算能力，还要看显存大小。

有些 GPU 计算能力不错，但显存不够，也跑不动大模型。

---

误区 3：显存越大，AI 一定越聪明

不一定。

显存大只是说明更容易运行大模型或更长上下文。

AI 回答质量还取决于：

• 模型本身能力
• 训练数据
• 算法结构
• 提示词质量
• 是否接入知识库
• 是否能调用工具

---

误区 4：普通人必须买高端 GPU 才能学 AI

不需要。

前期完全可以使用现成模型、在线工具和 API。

硬件进阶可以放到后面再学。

---

14. 本课核心总结

这一课最重要的是理解：

CPU 负责通用逻辑和任务调度。
GPU 负责大量并行计算。
显存负责存放模型、数据和中间计算结果。

进一步理解：

AI 需要大量矩阵和向量计算，所以特别适合 GPU。
模型越大，通常越吃显存。
训练比推理更消耗算力和显存。
普通人学习 AI，一开始不需要买高端 GPU。

最简记忆版：

CPU 像总指挥。
GPU 像并行计算工厂。
显存像 GPU 的工作台。
算力决定 AI 跑得动不动、跑得快不快。

---

15. 本课自测问题

1. CPU 和 GPU 最大的区别是什么？
2. 为什么 AI 特别适合用 GPU？
3. 显存是什么？
4. 为什么显存不够可能跑不动大模型？
5. 普通人学习 AI 一开始是否必须买高端 GPU？
6. 训练和推理哪个更吃算力？为什么？

能用自己的话回答这些问题，就说明已经理解了本课的核心内容。