PyTorch、CPU、GPU、CUDA

**给 Python 安装 PyTorch的时候,**对于刚接触 AI 开发的人来说,里面的专业名词(Torch、CPU、GPU、CUDA、源)确实容易让人一头雾水。把这些名词拆开,结合一生活中的例子来理清它们的关系。

一、 解释

1. PyTorch (简称 torch)

  • 是什么:是运行大模型(比如 BGE-M3 向量模型)的底层框架。

  • 作用:模型本质上是一堆复杂的数学公式,PyTorch 就是负责执行这些公式计算的基础软件。

2. CPU 与 GPU

  • CPU(中央处理器) :电脑的大脑。适合做复杂的逻辑控制,但做简单的数学计算(特别是矩阵乘法)时速度慢。

  • GPU(显卡) :本来是画图用的。因为它里面有几千个小核心,特别擅长同时做海量的数学计算,所以成了跑 AI 模型的加速器。

3. CUDA

  • 是什么 :NVIDIA(英伟达)公司开发的**"显卡沟通协议"**。

  • 作用:PyTorch 本身不懂怎么指挥显卡,必须通过 CUDA 才能把任务交给 NVIDIA 显卡去算。

  • 注意 :只有 NVIDIA 的显卡(N卡)才支持 CUDA。AMD 显卡或苹果电脑(M系列芯片)不通过 CUDA 加速。

4. CPU 源 vs GPU 源(这里的"源"指软件源)

  • 源 :可以理解为**"软件下载站"**。

  • CPU 源:只包含纯 CPU 计算代码的 PyTorch 安装包。体积小(几百MB),任何电脑都能装,但跑模型慢。

  • GPU 源:包含了 CUDA 加速代码的 PyTorch 安装包。体积很大(几个 GB),且要求你的电脑必须有 NVIDIA 显卡并且装了驱动。

二、 它们之间的关系

假如你是一个老板,要处理 100 万份文件(跑模型)。

  • PyTorch 是你的工作系统。

  • CPU 是一个顶尖的资深老员工。他非常聪明,但只有一双手,让他一个人看 100 万份文件,累死也看不完(速度慢)。

  • GPU 是一群流水线工人。他们每个人都只会做简单的算术题,但几千个人一起干,一秒钟就能看完 100 万份(速度极快)。

  • CUDA 是对讲机。老板(PyTorch)必须拿着对讲机,才能指挥这群流水线工人(GPU)干活。

  • CPU 源 / GPU 源:就是你给公司采购的系统版本。买"CPU 源"(纯基础版),就只能让老员工一个人干;买"GPU 源"(带加速版),系统里就自带了"对讲机",能指挥流水线工人一起干。

三、 建议

  1. 如果你有 NVIDIA 显卡,一定要装 GPU 版本的 PyTorch 。

    如果你的电脑有 N 卡,却装了 CPU 源,那就像买了台跑车却用牛拉着走,白白浪费了显卡。只有装了 GPU 源,它才能调用显卡加速。

  2. 为什么不用 uv add(或者 pip install)直接装?

    因为国内的镜像源(比如清华源、阿里源)为了照顾大多数普通用户,默认提供的都是 CPU 版本的 PyTorch。如果你直接用镜像源安装,大概率会装上个纯 CPU 版,导致没有显卡加速。

  3. 去官网下载对应 CUDA 版本的 PyTorch 。

    因为 CUDA 有很多版本(比如 11.8、12.1 等),你的 PyTorch 版本必须和你电脑显卡驱动支持的 CUDA 版本匹配,否则依然无法加速。

    • 怎么查 :打开命令行输入 nvidia-smi,看右上角的 CUDA Version。假设显示 12.1,你就去 PyTorch 官网找支持 CUDA 12.1 的安装命令。

说明

  • 情况 A:你是苹果 Mac 电脑(M1/M2/M3 芯片)

    苹果不用 NVIDIA 的 CUDA。你不需要折腾,直接用普通的 pip install torch,PyTorch 会自动调用苹果的 MPS 加速,速度也很快。

  • 情况 B:你是 Windows/Linux,且没有独立显卡(或只有 AMD 显卡)

    老老实实安装 CPU 版本 ,直接 uv add torch 或 pip install torch 即可。虽然慢点,但模型能跑通。

  • 情况 C:你是 Windows/Linux,有 NVIDIA 独立显卡

    千万别直接 pip install 。第一步,打开终端输入 nvidia-smi 查看 CUDA 版本;第二步,打开 PyTorch 官网,在表格里选好你的系统、Pip、Python 以及刚才查到的 CUDA 版本,复制它给你的那行长命令去执行。

相关推荐
数字融合39 分钟前
透明化视频孪生危化安全管控解决方案
人工智能·python·安全
冬奇Lab43 分钟前
一天一个开源项目(第253篇):dsh-superagent —— DeepSeek 开源的“主动式”编程智能体原型,核心原则是少占人的注意力
人工智能·开源·资讯
罗西的思考1 小时前
【轻量化复刻大模型 / KIMI K3】KDA 模块交互式演示
人工智能·算法·机器学习
拓恒技术1 小时前
从“可见光漏检”到“热异常锁定”:无人机河道排污口识别与溯源的技术链路
人工智能·视觉检测·无人机
2601_968900771 小时前
按量计费接口实战:从接入、预算到对账的完整链路
人工智能
七牛云行业应用1 小时前
MIT “权重空间编程”:GPT-6 Astra 修改 0.016% 的 Qwen 权重,MATH-500 从 7.9% 升至 48.1%
人工智能·gpt·ai
故七月2 小时前
AI 答案里的竞品共现:怎么看出赛道格局
大数据·人工智能
正在走向自律2 小时前
【3/5】人工智能训练师 三级/高级工 考证学习方向:从“独立执行”到“设计、归因与全链条负责”
人工智能·学习·人工智能训练师·注方案设计·数据质控负责人·模型评测与调优辅助·ai训练项目交付
Fatbobman(东坡肘子)2 小时前
快速消失的硬盘容量 -- 肘子的 Swift 周报 #160
开发语言·人工智能·redis·ios·swiftui·iphone·swift