【Trick】解决服务器cuda报错——RuntimeError: cuDNN error: CUDNN_STATUS_NOT_INITIALIZED

本人在服务器上训练代码时,遇到了以下报错:

复制代码
Traceback (most recent call last):
  File "/home/ubuntu/zcardvein/zzz_dataAndTrain.py", line 163, in <module>
    preds = model(img_batch)
  File "/home/ubuntu/miniconda3/lib/python3.9/site-packages/torch/nn/modules/module.py", line 1501, in _call_impl
    return forward_call(*args, **kwargs)
  File "/home/ubuntu/miniconda3/lib/python3.9/site-packages/torch/nn/parallel/data_parallel.py", line 171, in forward
    outputs = self.parallel_apply(replicas, inputs, kwargs)
  File "/home/ubuntu/miniconda3/lib/python3.9/site-packages/torch/nn/parallel/data_parallel.py", line 181, in parallel_apply
    return parallel_apply(replicas, inputs, kwargs, self.device_ids[:len(replicas)])
  File "/home/ubuntu/miniconda3/lib/python3.9/site-packages/torch/nn/parallel/parallel_apply.py", line 89, in parallel_apply
    output.reraise()
  File "/home/ubuntu/miniconda3/lib/python3.9/site-packages/torch/_utils.py", line 644, in reraise
    raise exception
RuntimeError: Caught RuntimeError in replica 0 on device 0.
Original Traceback (most recent call last):
  File "/home/ubuntu/miniconda3/lib/python3.9/site-packages/torch/nn/parallel/parallel_apply.py", line 64, in _worker
    output = module(*input, **kwargs)
  File "/home/ubuntu/miniconda3/lib/python3.9/site-packages/torch/nn/modules/module.py", line 1501, in _call_impl
    return forward_call(*args, **kwargs)
  File "/home/ubuntu/zcardvein/zzz_dataAndTrain.py", line 31, in forward
    enc1 = self.encoder1(x)
  File "/home/ubuntu/miniconda3/lib/python3.9/site-packages/torch/nn/modules/module.py", line 1501, in _call_impl
    return forward_call(*args, **kwargs)
  File "/home/ubuntu/miniconda3/lib/python3.9/site-packages/torch/nn/modules/container.py", line 217, in forward
    input = module(input)
  File "/home/ubuntu/miniconda3/lib/python3.9/site-packages/torch/nn/modules/module.py", line 1501, in _call_impl
    return forward_call(*args, **kwargs)
  File "/home/ubuntu/miniconda3/lib/python3.9/site-packages/torch/nn/modules/conv.py", line 463, in forward
    return self._conv_forward(input, self.weight, self.bias)
  File "/home/ubuntu/miniconda3/lib/python3.9/site-packages/torch/nn/modules/conv.py", line 459, in _conv_forward
    return F.conv2d(input, weight, bias, self.stride,
RuntimeError: cuDNN error: CUDNN_STATUS_NOT_INITIALIZED

通过询问gpt和群友,确定了是cuda自身的问题,因为cpu就能正常运行。

排查步骤主要如下:

1:通过查看显存,发现不是卡的显存炸了。

复制代码
nvidia-smi

2:通过查看cuda和torch的兼容问题,发现结果是2.0.1+cu117,没问题。

复制代码
python -c "import torch; print(torch.__version__)"

3:通过查看cuda available,发现结果是True。

4:把device换成cpu,发现代码能正常运行。

复制代码
device = torch.device("cpu")

其实理论上,换个服务器就能解决我这个问题()

然后群友说试一下:cudnn禁用。

于是...

5:在需要运行的python文件开头加上cudnn禁用语句

复制代码
torch.backends.cudnn.enabled = False

结果就能正常动起来了!

相关推荐
不会计算机的g_c__b4 分钟前
深入解析文本分类技术全景:从特征提取到深度学习架构
深度学习·分类·数据挖掘
呆头鹅AI工作室5 分钟前
[2025CVPR-目标检测方向] CorrBEV:多视图3D物体检测
人工智能·深度学习·神经网络·目标检测·计算机视觉·3d·卷积神经网络
Learn-Share_HY8 分钟前
[Linux]如何設置靜態IP位址?
linux·运维·tcp/ip·ubuntu·static ip
Everbrilliant891 小时前
Ubuntu系统下交叉编译Android的X265库
linux·运维·ubuntu·x265交叉编译·android x265·ffmpeg x265
我不要放纵1 小时前
LVS集群搭建
linux·服务器·lvs
阿巴~阿巴~1 小时前
自主Shell命令行解释器
linux·运维·服务器
小周学学学1 小时前
docker安装与简单项目上手
运维·docker·容器
SHUIPING_YANG2 小时前
根据用户id自动切换表查询
java·服务器·数据库
AndrewHZ2 小时前
【图像处理基石】如何入门色彩评估?
图像处理·人工智能·深度学习·色彩科学·hvs·色彩评估·颜色工程
chao_7892 小时前
更灵活方便的初始化、清除方法——fixture【pytest】
服务器·自动化测试·python·pytest