conda虚拟环境中安装cuda方法、遇到的问题

conda虚拟环境中安装cuda方法、遇到的问题

文章目录

conda虚拟环境中安装cuda

参考文章:使用conda管理CUDA

在跑深度学习项目时,很多时候CUDA版本没达到要求,重新安装 CUDA 太麻烦,更何况一般都没有 root 权限。因此,需要调用 conda 自己安装的 CUDA 版本。

  1. 创建 conda 环境,并激活
python 复制代码
# 创建虚拟环境环境
conda create -n 自己输入名称 python=版本号
# 激活虚拟环境
conda activate 名称
  1. 安装指定 CUDA 版本,例如 11.8:
python 复制代码
conda install cudatoolkit==11.8 -c nvidia
  1. 安装支持 CUDA 的 PyTorch(需要去PyTorch官网找到对应版本),例如 2.4.1:
python 复制代码
conda install pytorch==2.4.1 torchvision==0.19.1 torchaudio==2.4.1  pytorch-cuda=11.8 -c pytorch -c nvidia
  1. 安装 cuda-nvcc:
python 复制代码
conda install nvidia::cuda-nvcc

可以去https://anaconda.org/搜索所有cuda版本的nvcc。

注意
其中第 4 步是最容易遗漏的,也很少有博客提到。实测不安装 cuda-nvcc 会导致调用系统自带的 CUDA 。

以上步骤完成后,conda就会将cuda添加到该虚拟环境的环境变量中,可以使用echo $PATH查看环境变量:

cuda.h和cuda_runtime.h

参考文章:conda环境中安装cuda.h和cuda_runtime.h

在conda的虚拟环境中安装cuda后,在运行项目时可能会提示缺少cuda.h和cuda_runtime.h文件:

解决方法:

在该虚拟环境中使用如下命令:

python 复制代码
conda install nvidia::cuda-cudart-dev
# cudart是cuda runtime的缩写

亦可去https://anaconda.org/搜索cuda-cudart-dev对应于cuda的版本:

如提示还缺少cusparse.hcusparse_v2.h,可以去https://anaconda.org/搜索libcusparse-dev对应于cuda的版本:

也可以直接下载文件:

下载下来后可以看到其中有这两个文件,复制到虚拟环境cuda路径下:.h文件在 conda/envs/虚拟环境名include文件夹下。

还可能会说缺少以下文件:

只要找到对应cuda版本的文件,复制到虚拟环境cuda路径下即可。.h文件在 conda/envs/虚拟环境名include文件夹下。

pytorch运行时的CUDA版本

查看cuda 运行版本 和 编译时的版本:

python 复制代码
# Pytorch 实际使用的运行时的 cuda 目录
import torch.utils.cpp_extension
torch.utils.cpp_extension.CUDA_HOME
# 编译该 Pytorch release 版本时使用的 cuda 版本
import torch
torch.version.cuda 

参考文章:一文讲清楚CUDA、CUDA toolkit、CUDNN、NVCC关系

参考文章:python_deep_study系列

(1)查看pytorch版本:

python 复制代码
import torch
print(torch.__version__)

(2)查看Pytorch release 版本时使用的 cuda 版本:

python 复制代码
import torch
print(torch.version.cuda)

(3)查看 Pytorch 实际使用的运行时的 cuda 目录,可以直接输出 cpp_extension.py 中的 CUDA_HOME 变量:

python 复制代码
import torch
import torch.utils
import torch.utils.cpp_extension
print(torch.utils.cpp_extension.CUDA_HOME)

其他问题

检查包冲突

python 复制代码
pip check #检查使用pip安装的包在当前环境中的兼容性

# 可以检查特定包的兼容性
pip check numpy #检查numpy在当前环境中的兼容性

nvcc -V和nvidia-smi显示的版本不一致

参考文章:【CUDA】nvcc和nvidia-smi显示的版本不一致?

nvcc 属于CUDA的编译器,将程序编译成可执行的二进制文件,nvidia-smi 全称是 NVIDIA System Management Interface ,是一种命令行实用工具,旨在帮助管理和监控NVIDIA GPU设备。

CUDA有 runtime api 和 driver api,两者都有对应的CUDA版本, nvcc -V 显示的就是前者对应的CUDA版本,而 nvidia-smi显示的是后者对应的CUDA版本。

用于支持driver api的必要文件由 GPU driver installer 安装,nvidia-smi就属于这一类API;++而用于支持runtime api的必要文件是由 CUDA Toolkit installer 安装的++。nvcc是与CUDA Toolkit一起安装的CUDA compiler-driver tool,它只知道它自身构建时的CUDA runtime版本,并不知道安装了什么版本的GPU driver,甚至不知道是否安装了GPU driver。

CUDA Toolkit Installer通常会集成了GPU driver Installer,如果你的CUDA均通过CUDA Tooklkit Installer来安装,那么runtime api 和 driver api的版本应该是一致的,也就是说, nvcc -V 和 nvidia-smi 显示的版本应该一样。否则,你可能使用了单独的GPU driver installer来安装GPU dirver,这样就会导致 nvidia-smi 和 nvcc -V 显示的版本不一致了。

通常,driver api的版本能向下兼容runtime api的版本,即 nvidia-smi 显示的版本大于nvcc --version 的版本通常不会出现大问题。

cuda路径

机器的cuda路径在/usr/local下。

conda虚拟环境的cuda路径在conda/envs/虚拟环境名libinclude文件夹下。

相关推荐
2301_7644413317 分钟前
基于神经网络的肾脏疾病预测模型
人工智能·深度学习·神经网络
HABuo39 分钟前
【YOLOv8】YOLOv8改进系列(12)----替换主干网络之StarNet
人工智能·深度学习·yolo·目标检测·计算机视觉
Dovis(誓平步青云)1 小时前
深挖 DeepSeek 隐藏玩法·智能炼金术2.0版本
人工智能·深度学习·机器学习·数据挖掘·服务发现·智慧城市
赵钰老师2 小时前
【Deepseek、ChatGPT】智能气候前沿:AI Agent结合机器学习与深度学习在全球气候变化驱动因素预测中的应用
人工智能·python·深度学习·机器学习·数据分析
Start_Present4 小时前
Pytorch 第十三回:神经网络编码器——自动编解码器
pytorch·python·深度学习·神经网络
Y1nhl5 小时前
搜广推校招面经六十四
人工智能·深度学习·leetcode·广告算法·推荐算法·搜索算法
Y1nhl6 小时前
Pyspark学习一:概述
数据库·人工智能·深度学习·学习·spark·pyspark·大数据技术
简简单单做算法8 小时前
基于mediapipe深度学习和限定半径最近邻分类树算法的人体摔倒检测系统python源码
人工智能·python·深度学习·算法·分类·mediapipe·限定半径最近邻分类树
sduwcgg9 小时前
powershell7.5.0不支持conda的问题
conda
就决定是你啦!9 小时前
机器学习 第一章 绪论
人工智能·深度学习·机器学习