每天写点什么2026-01-19-docker如何使用GPU

ba_pi2026-01-20 13:09

配置NVIDIA容器运行时软件源：

bash 复制代码

distribution=$(. /etc/os-release;echo $ID$VERSION_ID)
curl -s -L https://nvidia.github.io/nvidia-container-runtime/$distribution/nvidia-container-runtime.repo | \
sudo tee /etc/yum.repos.d/nvidia-container-runtime.repo

安装NVIDIA容器运行时组件：

bash 复制代码

sudo yum install -y nvidia-container-runtime
sudo yum install -y nvidia-container-toolkit

配置Docker默认使用NVIDIA运行时：

方式一：

bash 复制代码

sudo vi /etc/docker/daemon.json

添加以下配置内容：

json 复制代码

{
  "default-runtime": "nvidia",
  "runtimes": {
    "nvidia": {
      "path": "nvidia-container-runtime",
      "runtimeArgs": []
    }
  }
}

bash 复制代码

sudo systemctl daemaon-reload && systemctl restart docker

方式二（推荐）：

配置 Docker 使用 NVIDIA 运行时

sudo nvidia-ctk runtime configure --runtime=docker

重启 Docker 服务

sudo systemctl restart docker

重启Docker服务应用配置：

bash 复制代码

sudo systemctl restart docker

启动Docker服务并验证GPU支持：

bash 复制代码

sudo systemctl start docker
docker run --gpus all ollama

使用了毫秒镜像加速器：