windows + pytorch + gpu

nvidia、cuda和cudnn之间的版本匹配关系

1. 命令行查看nvidia的驱动版本

英伟达驱动版本是512.78,cuda版本是11.6(说明要下的cuda toolkit版本最高是11.6的)

插入:显卡驱动的安装

2. 网站查看cuda和英伟达驱动、cudnn之间的关系

插句题外话,如何理解cuda和英伟达驱动、cudnn之间的关系?

  • NVIDA驱动,在NVIDA控制面板的系统信息,组件中看到的driver就是。
  • CUDA(Compute Unified Device Architecture)是NVIDIA推出的用于自家GPU的并行计算框架,也就是说CUDA只能在NVIDIA的GPU上运行,而且只有当要解决的计算问题是可以大量并行计算的时候才能发挥CUDA的作用。一个电脑里可以拥有两个CUDA API,一个是dirver CUDA(显示屏幕用的) ,nvidia-smi输出的CUDA版本号,一个是runtime CUDA(加速深度学习),nvcc -V输出的CUDA版本号。nvidia-smi输出中显示的cuda version就是dirverCUDA,即现在电脑里有CUDA但只是显示屏幕用的,所以不能深度学习加速。那么想要加速深度学习需要再安装runtime CUDA,可以通过两种方式,一个是conda环境中安装,另一个是安装cudatoolkit
  • CUDA Toolkit (nvidia): CUDA完整的工具安装包,其中提供了 Nvidia 驱动程序、开发 CUDA 程序相关的开发工具包等可供安装的选项。包括 CUDA 程序的编译器、IDE、调试器等,CUDA 程序所对应的各式库文件以及它们的头文件。简单来讲就是CUDA Toolkit (nvidia)包含了dirver CUDA和runtimeCUDA 。另外说明,带有驱动程序的CUDA Toolkit (nvidia)可以从这里历史版本下载,可以选择两种安装方式,一种是在线安装,一中离线安装即本地安装。当我们选择离线安装,当我们选定相对应的版本之后,下载的时候发现这个地方的文件大小大概在2G左右,Linux系统下面我们选择runfile(local) 完整安装包从本地安装,或者是选择windows的本地安装。CUDA Toolkit本地安装包时内含特定版本Nvidia显卡驱动的。NVIDIA显卡驱动和CUDA工具包本身是不具有捆绑关系的,也不是一一对应的关系,只不过是离线安装的CUDA工具包会默认携带与之匹配的最新的驱动程序
  • CUDA Toolkit (Pytorch): CUDA不完整的工具安装包,其主要包含在使用 CUDA 相关的功能时所依赖的动态链接库。不会安装驱动程序。 个人理解就是CUDA Toolkit (Pytorch)只安装了runtime cuda。在pytorch环境中常使用如下指令去安装cudatoolkit(Pytorch),比如
python 复制代码
conda install pytorch torchvision cudatoolkit=11.3 -c pytorch
pip3 install torch==1.9.1+cu111 torchvision==0.10.1+cu111 torchaudio==0.9.1 -f https://download.pytorch.org/whl/torch_stable.html -i https://pypi.tuna.tsinghua.edu.cn/simple

更详细地,
Pytorch 使用不同版本的 cuda
显卡,显卡驱动,nvcc, cuda driver,cudatoolkit,cudnn到底是什么?

  • cudnn :为深度学习计算设计的软件库,是一个SDK,是一个专门用于神经网络的加速包,是基于CUDA的深度学习GPU加速库。注意,它跟我们的CUDA没有一一对应的关系,即每一个版本的CUDA可能有好几个版本的cuDNN与之对应,但一般有一个最新版本的cuDNN版本与CUDA对应更好。有了cuDNN才能在GPU上完成深度学习的计算,再安装cudatoolkit(pytorch)时候,cuDNN会自动安装。安装cudatoolkit(nvidia)时候需要自己安装cuDNN。
  • pytorch是基于CUDA的深度学习框架,因此,pytorch的版本必须依赖于cuda toolkit的版本。
  • 插话结束

如果你的目的是用CUDA只加速深度学习,深度学习往往不同代码需要不同的cuda版本,如果安装cudatookit(nvidia)电脑上只有一个版本是不方便的,因此针对深度学习,安装的策略是:nvidia显卡驱动+cudatoolkit(pytorch)

不需要在电脑上再安装cudatoolkit(nvidia)就能加速深度学习,遇到需要新版本的cuda加速就再建立一个conda环境安装。

nvidia与cuda需要满足关系:
https://docs.nvidia.com/cuda/cuda-toolkit-release-notes/index.html

cuda与cudnn需要满足关系:
https://developer.nvidia.com/rdp/cudnn-archive

3. 确定需要下载的cuda和cudnn的版本

经过上述分析(装的CUDA必须小于等于自己的CUDA当前版本11.6),我们选择使用conda prompt下载cuda toolkit11.3.1,cudnn8.2.1

4. 打开pytorch官网,查找和cuda、cudnn版本匹配的torch

5. 验证

其他案例:
全流程安装https://zhuanlan.zhihu.com/p/454839461

并且cuda和cuDNN的教程是按照这个帖子装好的。

https://blog.csdn.net/jhsignal/article/details/111401628

原文链接:https://blog.csdn.net/HUASHUDEYANJING/article/details/128868737

其他一些问题:


相关推荐
极客猴子10 分钟前
能提取抖音视频文案的APP推荐:短视频文案工具合集
人工智能·智能手机·音视频·语音识别
sel_931 分钟前
【强化学习】Hands-on Modern RL项目实践|OPD 算法完整解析
人工智能·深度学习·算法·机器学习·语言模型
xushichang123_40 分钟前
Agentic AI 应用 Token 开销居高不下,可借助哪些云平台与架构实现成本管控?
人工智能
世岩清上1 小时前
新能源宣传片怎么拍?如何用画面讲好你的绿色能源故事
大数据·人工智能·能源·宣传片·宣传片拍摄
why技术1 小时前
eli5,我觉得这个全网在吹的技能,使用体验真的很一般啊。
前端·人工智能·后端
冬奇Lab2 小时前
开源项目第196期:LiveTalking — 实时交互流式数字人引擎,支持 Wav2Lip/MuseTalk/ER-NeRF
人工智能·开源·资讯
冬奇Lab2 小时前
Code Agent 解剖(09):对话越来越长,token 超了怎么办?
人工智能
甲维斯2 小时前
Opus5挖的坑,DS秒破,实战和模拟的巨大鸿沟!
人工智能
Elastic 中国社区官方博客2 小时前
让大模型思考,让小模型执行:在 Elastic Workflows 中拆分 LLM 成本
大数据·运维·数据库·人工智能·elasticsearch·ai