Docker中Failed to initialize NVML: Unknown Error

ZnS_oscar2023-10-29 22:54

参考资料
Docker 中无法使用 GPU 时该怎么办（无法初始化 NVML：未知错误）
SOLVED Docker with GPU: "Failed to initialize NVML: Unknown Error"

解决方案需要的条件:

需要在服务器上docker的admin list之中. 不需要服务器整体的admin权限. 我在创建docker的时候向管理员申请了把握加到docker list当中了. 如果你能够创建docker你就满足这个条件了

问题描述：

在主机上nvidia-smi正常, 但是在docker上报错如标题.

解决: 使用上述方法修改. 但是有一些不同

我的docker没有/etc/nvidia-container-runtime/config.toml, 于是我自己新建了一个. 注意新建这个文件需要有docker的admin密码(不是服务器主机上docker 命令的管理员密码)
config.toml的内容是从服务器上抄的, 复制如下

shell 复制代码

disable-require = false
#swarm-resource = "DOCKER_RESOURCE_GPU"
#accept-nvidia-visible-devices-envvar-when-unprivileged = true
#accept-nvidia-visible-devices-as-volume-mounts = false

[nvidia-container-cli]
#root = "/run/nvidia/driver"
#path = "/usr/bin/nvidia-container-cli"
environment = []
#debug = "/var/log/nvidia-container-toolkit.log"
#ldcache = "/etc/ld.so.cache"
load-kmods = true
#no-cgroups = false
#user = "root:video"
ldconfig = "@/sbin/ldconfig.real"

[nvidia-container-runtime]
#debug = "/var/log/nvidia-container-runtime.log"
log-level = "info"

# Specify the runtimes to consider. This list is processed in order and the PATH
# searched for matching executables unless the entry is an absolute path.
runtimes = [
    "docker-runc",
    "runc",
]

mode = "auto"

    [nvidia-container-runtime.modes.csv]

    mount-spec-path = "/etc/nvidia-container-runtime/host-files-for-container.d"

不需要重启docker, 只要重启容器就可以了. 需要服务器docker admin list权限.
上面的链接当中, 使用命令sudo systemctl restart docker重启docker, 需要服务器admin权限,权限等级比较高. 我只是在docker list 当中.
我首先执行了sudo docker run --rm --gpus all nvidia/cuda:11.0-base nvidia-smi.

然后再重启我的container.

我使用docker ps -a查看我的container_id, 然后使用docker stop <container_id>关闭我的container, 再使用docker start <container_id>重启

然后就成功了