解决Pytorch的cuDNN error: CUDNN_STATUS_NOT_INITIALIZED

目录

  • [1. 问题报错](#1. 问题报错)
  • [2. 可能原因](#2. 可能原因)
    • [2.1 GPU内存不足](#2.1 GPU内存不足)
    • [2.2 缓存问题](#2.2 缓存问题)
    • [2.3 CUDA和Pytorch版本不兼容](#2.3 CUDA和Pytorch版本不兼容)
    • [2.4 CUDA和cuDNN版本不兼容](#2.4 CUDA和cuDNN版本不兼容)
  • [3. 验证CUDA是否可用](#3. 验证CUDA是否可用)
  • [4. 参考](#4. 参考)

1. 问题报错

在使用GPU加速模型训练的过程中经常会遇到这样的错误:

复制代码
RuntimeError: cuDNN error: CUDNN_STATUS_NOT_INITIALIZED

这个错误通常表示cuDNN库未能正确初始化。

2. 可能原因

2.1 GPU内存不足

在终端输入nvidia-smi查看GPU占用情况,如下图中的GPU 0几乎跑满,如果再使用该GPU运行其他占用内存较大的程序可能会报错。

复制代码
>>> nvidia-smi

2.2 缓存问题

有时,cuDNN错误可能是由于缓存问题引起的。尝试清除缓存,然后重新运行代码。可以在Python代码中使用以下代码来清除缓存:

python 复制代码
import torch
torch.cuda.empty_cache()

2.3 CUDA和Pytorch版本不兼容

不同版本的深度学习框架对CUDA和Pytorch的要求可能有所不同。在使用特定版本的框架时,查阅其文档或要求,了解所需的CUDA和Pytorch版本,并确保安装了正确的版本。

前往Pytorch官网查看版本对应关系:https://pytorch.org/get-started/previous-versions/,如果版本不匹配则需要重新安装Pytorch或者更新CUDA版本。注意同一Pytorch版本适配多个CUDA版本,具体还需要考虑cuDNN的版本,详情见下一节。

显卡的CUDA版本同样可以通过nvidia-smi进行查看:

2.4 CUDA和cuDNN版本不兼容

确保你使用的CUDA版本与cuDNN版本兼容,验证CUDA和cuDNN是否正确安装并配置。

cuDNN官网下载地址提供了二者版本对应关系:https://developer.nvidia.com/rdp/cudnn-archive

如果需要重新下载CUDA,可以前往官网下载:https://developer.nvidia.com/cuda-toolkit-archive

这篇博客记录了部分CUDA Toolkit 和cuDNN的版本对应关系:https://blog.csdn.net/tangjiahao10/article/details/125225786

3. 验证CUDA是否可用

查看CUDA是否可用命令如下:

python 复制代码
import torch
print(torch.cuda.is_available())

返回True即可用。

4. 参考


创作不易,麻烦点点赞和关注咯!

相关推荐
DooTask官方号10 分钟前
跨语言协作新范式:阿里云Qwen-MT与DooTask的翻译技术突破
人工智能·ai·项目管理·机器翻译·dootask
凯禾瑞华养老实训室1 小时前
聚焦生活照护能力培育:老年生活照护实训室建设清单的模块设计与资源整合
大数据·人工智能·科技·ar·vr·智慧养老·智慧健康养老服务与管理
倔强青铜三2 小时前
苦练Python第64天:从零掌握多线程,threading模块全面指南
人工智能·python·面试
格林威2 小时前
偏振相机是否属于不同光谱相机的范围内
图像处理·人工智能·数码相机·计算机视觉·视觉检测·工业相机
A-大程序员2 小时前
【pytorch】合并与分割
人工智能·pytorch·深度学习
AI新兵2 小时前
AI大事记12:Transformer 架构——重塑 NLP 的革命性技术(上)
人工智能·自然语言处理·transformer
Q26433650233 小时前
【有源码】基于Hadoop生态的大数据共享单车数据分析与可视化平台-基于Python与大数据的共享单车多维度数据分析可视化系统
大数据·hadoop·python·机器学习·数据分析·spark·毕业设计
Dongsheng_20193 小时前
【汽车篇】AI深度学习在汽车零部件外观检测——刹车片中的应用
人工智能·汽车
LONGZETECH3 小时前
【龙泽科技】汽车转向悬架与制动安全系统技术1+X仿真教学软件(1.2.3 -初级)
人工智能·科技·汽车·汽车仿真教学软件·汽车教学软件