关于使用Mxnet GPU版本运行DeepAR报错解决方案

1.引言

我们经常使用GPU来训练和部署神经网络,因为与CPU相比,它提供了更多的计算能力。在本教程中,我们将介绍如何将GPU与MXNet GluonTS一起使用。

首先,确保您的机器中至少有一个Nvidia GPU,并正确安装了CUDA以及CUDNN。但是在引入import mxnet后出现下面的问题:

MXNet的OSError: libnccl.so.2: cannot open shared object file: No such file or directory

本文将会解决这一问题,亲测好用。

2.博主服务器配置

  • Ubuntu 18.04
  • cuda11.3
  • cudnn 8.2.1

3.安装

(1)首先安装mxnet gpu版本,根据自己的cuda版本,如果是10.0那么就是mxnet-cu100以此类推。

python 复制代码
pip install mxnet-cu113

(2)安装gluonts.

python 复制代码
pip install gluonts

4.解决问题

(1)去 NVIDIA 官网下载(Log in | NVIDIA Developer)跟你 CUDA 版本和操作系统(我的是Ubuntu18.04)适配的 NCCL 文件

(2) 配置下载的deb文件

python 复制代码
sudo dpkg -i nccl-local-repo-ubuntu1804-2.9.9-cuda11.3_1.0-1_amd64.deb
sudo apt update
sudo apt install libnccl2=2.9.9-1+cuda11.3 libnccl-dev=2.9.9-1+cuda11.3

(3)你可以检查你的mxnet当前版本,以及可用的GPU数目:

python 复制代码
import mxnet as mx
print(f'Number of GPUs: {mx.context.num_gpus()}')

然后就解决了,可以利用 GPU 跑 MXNet GluonTS 的深度学习模型做时间序列预测项目。

(3)指定第四块GPU卡参与训练(它应该自动检测GPU,但你可以强制它)

python 复制代码
trainer=Trainer(
        ctx=mxnet.context.gpu(3),
        epochs=train_conf.max_epochs,
        num_batches_per_epoch=train_conf.num_batches_per_epoch,
    )

从下面的图可以看出,指定了第四块卡训练,显存得到占用。

相关推荐
软件技术NINI2 分钟前
DeepSeek 大模型落地应用实战指南
大数据·人工智能
大模型真好玩24 分钟前
大模型训练全流程实战指南实战篇(十八)——微调问答对数据构建技术
人工智能·agent·deepseek
甲维斯25 分钟前
谷歌太抽象了,快速测一下Hydrogen!
人工智能
Dawson Zhu1 小时前
【分布式训练⑧】通信优化:NCCL、Ring AllReduce与计算通信重叠
人工智能·语言模型·架构·aigc·agi
泯泷1 小时前
AI Agent 工具设计:给模型装上“手脚”,为什么不能只会调用 API?
人工智能·llm·agent
在所不辞兄1 小时前
【人工智能驱动的电催化研究-07】CSV文件、路径与可追溯记录
人工智能·深度学习·神经网络·机器学习·有限元·电化学·电催化
装不满的克莱因瓶2 小时前
【从零搭建】AI大模型之ReactAgent智能体对接MCP实战
java·人工智能·ai·springai·mcp·springaialibaba
百度Geek说2 小时前
研发Loop的上下文优化与多Agent协作实践
人工智能
七夜zippoe2 小时前
Nexent 模型配置:4 字段与 9 个槽位
数据库·人工智能·模型·nexent
硅农程序猿2 小时前
SOC 物理实现: RTL2GDS 系列(二)—Innovus 初始化
人工智能·嵌入式硬件·硬件架构