容器运行时支持GPU，并使用1panel安装ollama

阿杜杜不是阿木木2025-08-15 16:09

前言

安装Docker请看之前博文：Docker实战中1panel方式安装Docker。

安装 NVIDIA 容器工具包

https://docs.nvidia.com/datacenter/cloud-native/container-toolkit/latest/install-guide.html

安装

先决条件

  1. 阅读有关平台支持的部分。
  2. 为您的 Linux 发行版安装 NVIDIA GPU 驱动程序。NVIDIA 建议使用发行版对应的软件包管理器安装驱动程序。有关使用软件包管理器安装驱动程序的信息，请参阅NVIDIA 驱动程序安装快速入门指南。或者，您也可以通过下载安装程序来安装驱动程序.run。
    在使用 cgroup 驱动程序的系统上存在一个已知问题，systemd该问题会导致容器在运行时失去对所请求 GPU 的访问权限 。请参阅故障排除文档了解更多信息。systemctl daemon reload

使用apt：Ubuntu，Debian（不可用）

  1. 配置生产存储库：
bash 复制代码 
curl -fsSL https://nvidia.github.io/libnvidia-container/gpgkey | sudo gpg --dearmor -o /usr/share/keyrings/nvidia-container-toolkit-keyring.gpg \
  && curl -s -L https://nvidia.github.io/libnvidia-container/stable/deb/nvidia-container-toolkit.list | \
    sed 's#deb https://#deb [signed-by=/usr/share/keyrings/nvidia-container-toolkit-keyring.gpg] https://#g' | \
    sudo tee /etc/apt/sources.list.d/nvidia-container-toolkit.list

（可选）配置存储库以使用实验包：

bash 复制代码 
sed -i -e '/experimental/ s/^#//g' /etc/apt/sources.list.d/nvidia-container-toolkit.list
  1. 从存储库更新软件包列表：
bash 复制代码 
sudo apt-get update
  1. 安装 NVIDIA Container Toolkit 软件包：
bash 复制代码 
export NVIDIA_CONTAINER_TOOLKIT_VERSION=1.17.8-1
  sudo apt-get install -y \
      nvidia-container-toolkit=${NVIDIA_CONTAINER_TOOLKIT_VERSION} \
      nvidia-container-toolkit-base=${NVIDIA_CONTAINER_TOOLKIT_VERSION} \
      libnvidia-container-tools=${NVIDIA_CONTAINER_TOOLKIT_VERSION} \
      libnvidia-container1=${NVIDIA_CONTAINER_TOOLKIT_VERSION}

很不幸，结果报错:

复制代码 
错误:7 [https://nvidia.github.io/libnvidia-container/stable/deb/amd64](https://nvidia.github.io/libnvidia-container/stable/deb/amd64) InRelease Could not handshake: Error in the pull function. [IP: 185.199.110.153 443] 
错误:8 [https://nvidia.github.io/libnvidia-container/experimental/deb/amd64](https://nvidia.github.io/libnvidia-container/experimental/deb/amd64) InRelease Could not handshake: Error in the pull function. [IP: 185.199.110.153 443] 正在读取软件包列表... 完成 
W: 无法下载 [https://nvidia.github.io/libnvidia-container/stable/deb/amd64/InRelease](https://nvidia.github.io/libnvidia-container/stable/deb/amd64/InRelease) Could not handshake: Error in the pull function. [IP: 185.199.110.153 443] 
W: 无法下载 [https://nvidia.github.io/libnvidia-container/experimental/deb/amd64/InRelease](https://nvidia.github.io/libnvidia-container/experimental/deb/amd64/InRelease) Could not handshake: Error in the pull function. [IP: 185.199.110.153 443] 
W: 部分索引文件下载失败。如果忽略它们，那将转而使用旧的索引文件。

下载deb后安装(可用)

  1. 首先查看上面安装命令里面的这个链接
    https://nvidia.github.io/libnvidia-container/stable/deb/nvidia-container-toolkit.list

    deb https://nvidia.github.io/libnvidia-container/stable/deb/$(ARCH) /
    #deb https://nvidia.github.io/libnvidia-container/experimental/deb/$(ARCH) /

  2. 点进去https://nvidia.github.io/libnvidia-container/stable/deb

    页面显示Unsupported distribution or misconfigured repository settings

  3. 在这个页面找到GitHub Pages repository structure

  1. 好嘛，找到老巢了
    https://github.com/NVIDIA/libnvidia-container/tree/gh-pages/stable/deb/amd64

  2. 下载下面几个文件，安装即可

bash 复制代码 
sudo dpkg -i nvidia-container-toolkit_1.17.7-1_amd64.deb nvidia-container-toolkit-base_1.17.7-1_amd64.deb libnvidia-container1_1.17.7-1_amd64.deb libnvidia-container-tools_1.17.7-1_amd64.deb

配置

先决条件

  • 您安装了受支持的容器引擎（Docker、Containerd、CRI-O、Podman）。
  • 您安装了 NVIDIA Container Toolkit。

配置Docker

  1. 使用以下nvidia-ctk命令配置容器运行时：
bash 复制代码 
sudo nvidia-ctk runtime configure --runtime=docker

该nvidia-ctk命令会修改/etc/docker/daemon.json主机上的文件。该文件已更新，以便 Docker 可以使用 NVIDIA 容器运行时。

json 复制代码 
{
    "runtimes": {
        "nvidia": {
            "args": [],
            "path": "nvidia-container-runtime"
        }
    }
}
  1. 重新启动 Docker 守护进程：
bash 复制代码 
sudo systemctl restart docker

配置 containerd（用于 Kubernetes)

  1. 使用以下nvidia-ctk命令配置容器运行时：
bash 复制代码 
sudo nvidia-ctk runtime configure --runtime=containerd

该nvidia-ctk命令会修改/etc/containerd/config.toml主机上的文件。该文件已更新，以便 containerd 可以使用 NVIDIA 容器运行时。

  1. 重启containerd：
bash 复制代码 
sudo systemctl restart containerd

运行示例工作负载

https://docs.nvidia.com/datacenter/cloud-native/container-toolkit/latest/sample-workload.html

安装和配置工具包并安装 NVIDIA GPU 驱动程序后，您可以通过运行示例工作负载来验证您的安装。

  • 运行示例 CUDA 容器：
bash 复制代码 
sudo docker run --rm --runtime=nvidia --gpus all ubuntu nvidia-smi

您的输出应类似于以下输出：

bash 复制代码 
Thu Aug 14 13:54:11 2025       
+-----------------------------------------------------------------------------------------+
| NVIDIA-SMI 575.64.03              Driver Version: 575.64.03      CUDA Version: 12.9     |
|-----------------------------------------+------------------------+----------------------+
| GPU  Name                 Persistence-M | Bus-Id          Disp.A | Volatile Uncorr. ECC |
| Fan  Temp   Perf          Pwr:Usage/Cap |           Memory-Usage | GPU-Util  Compute M. |
|                                         |                        |               MIG M. |
|=========================================+========================+======================|
|   0  NVIDIA GeForce RTX 4090        Off |   00000000:01:00.0  On |                  Off |
| 31%   37C    P8             34W /  450W |    1280MiB /  24564MiB |      0%      Default |
|                                         |                        |                  N/A |
+-----------------------------------------+------------------------+----------------------+
                                                                                         
+-----------------------------------------------------------------------------------------+
| Processes:                                                                              |
|  GPU   GI   CI              PID   Type   Process name                        GPU Memory |
|        ID   ID                                                               Usage      |
|=========================================================================================|
|  No running processes found                                                             |
+-----------------------------------------------------------------------------------------+

1panel安装docker版ollama

从应用商店安装

  1. 端口外部访问勾选上
  2. GPU配置如下：
yaml 复制代码 
reservations:
    devices:
        - capabilities:
            - gpu
          count: all
          driver: nvidia
  1. 模型挂载换了下路径：
yaml 复制代码 
volumes:
    - /home/d/.ollama:/root/.ollama

GPU监控

很是方便，妈妈再也不用担心忘记敲：nvidia-smi

模型

之前写过一篇直接安装ollama的博文：使用ollama部署本地大模型(没有GPU也可以)，实现IDEA和VS Code的git commit自动生成，其中模型位置：/usr/share/ollama/.ollama/models

在docker挂载中改为了/home/d/.ollama/models，点击从服务器同步即可

热门推荐
01UV安装并设置国内源022025最新国内服务器可用docker源仓库地址大全（2025年8月更新）03Qwen3-Coder 快速上手教程 | Qwen Code + Claude Code04全球最强模型Grok4，国内已可免费使用！（附教程）05TRAE Rules 实践：为项目配置 6A 工作流06KGG转MP3工具|非KGM文件|解密音频07【2025.08.06最新版】Android Studio下载、安装及配置记录（自动下载sdk）08GPT-5 使用限制与国内升级全攻略（免费 / Plus / Pro）【2025 最新】09Cursor 终端“卡死/无响应”问题的解法10Claude Code + claude-code-router白嫖魔搭社区千问模型，开启AI编程之路