Ubuntu + Docker + NVIDIA 显卡 上部署 Ollama

如果是在 Ubuntu + Docker + NVIDIA 显卡 上部署 Ollama,推荐直接使用官方 Docker 镜像并开启 GPU 支持。

1. 检查显卡驱动

确认 NVIDIA 驱动已安装:

nvidia-smi

正常会看到类似:

+-----------------------------------------------------------------------------+

| NVIDIA-SMI 550.xx Driver Version: 550.xx CUDA Version: 12.x |

+-----------------------------------------------------------------------------+

如果提示:

nvidia-smi: command not found

或者没有识别显卡,需要先安装驱动。


2. 安装 Docker

Ubuntu:

sudo apt update

sudo apt install -y </span>

ca-certificates </span>

curl </span>

gnupg </span>

lsb-release

curl -fsSL https://download.docker.com/linux/ubuntu/gpg | </span>

sudo gpg --dearmor -o /usr/share/keyrings/docker-archive-keyring.gpg

echo </span>

"deb [arch=$(dpkg --print-architecture) </span>

signed-by=/usr/share/keyrings/docker-archive-keyring.gpg] </span>

Index of linux/ubuntu/ </span>

$(lsb_release -cs) stable" | </span>

sudo tee /etc/apt/sources.list.d/docker.list

sudo apt update

sudo apt install -y docker-ce docker-ce-cli containerd.io

启动:

sudo systemctl enable docker

sudo systemctl start docker

测试:

docker --version


3. 安装 NVIDIA Container Toolkit

让 Docker 能调用 GPU。

添加仓库

curl -fsSL https://nvidia.github.io/libnvidia-container/gpgkey | </span>

sudo gpg --dearmor -o /usr/share/keyrings/nvidia-container-toolkit-keyring.gpg

curl -s -L https://nvidia.github.io/libnvidia-container/stable/deb/nvidia-container-toolkit.list | </span>

sed 's#deb https://#deb signed-by=/usr/share/keyrings/nvidia-container-toolkit-keyring.gpg https://#g' | </span>

sudo tee /etc/apt/sources.list.d/nvidia-container-toolkit.list

安装:

sudo apt update

sudo apt install -y nvidia-container-toolkit

配置 Docker:

sudo nvidia-ctk runtime configure --runtime=docker

重启 Docker:

sudo systemctl restart docker


4. 验证 Docker GPU

测试容器能否看到显卡:

docker run --rm --gpus all </span>

nvidia/cuda:12.6.0-base-ubuntu22.04 </span>

nvidia-smi

如果容器内输出显卡信息,说明 GPU 已正常透传。


5. 部署 Ollama

拉取镜像:

docker pull ollama/ollama

启动:

docker run -d </span>

--name ollama </span>

--restart unless-stopped </span>

--gpus all </span>

-p 11434:11434 </span>

-v ollama:/root/.ollama </span>

ollama/ollama

查看日志:

docker logs -f ollama


6. 下载模型

进入容器:

docker exec -it ollama bash

下载模型:

Qwen3

ollama pull qwen3:8b

DeepSeek R1

ollama pull deepseek-r1:8b

Llama 3

ollama pull llama3:8b


7. 测试运行

命令行

docker exec -it ollama ollama run qwen3:8b

输入:

你好

即可对话。

API

测试:

curl http://localhost:11434/api/generate </span>

-d '{

"model":"qwen3:8b",

"prompt":"介绍一下Ollama"

}'


8. 查看是否使用 GPU

安装模型运行后:

docker exec -it ollama ollama ps

或者直接观察:

watch -n 1 nvidia-smi

运行推理时看到 GPU 显存增加,例如:

GPU Memory Usage:

12000 MiB / 24576 MiB

说明 Ollama 已经在使用 GPU。


Docker Compose 方式(推荐)

docker-compose.yml

services:

ollama:

image: ollama/ollama:latest

container_name: ollama

restart: unless-stopped

ports:

  • "11434:11434"

volumes:

  • ollama:/root/.ollama

deploy:

resources:

reservations:

devices:

  • driver: nvidia

count: all

capabilities: gpu

volumes:

ollama:

启动:

docker compose up -d


常见问题

GPU 未识别

检查:

docker run --rm --gpus all ubuntu nvidia-smi

如果失败,通常是:

  • NVIDIA 驱动未安装
  • nvidia-container-toolkit 未安装
  • Docker 未重启

显存不足

查看模型大小:

模型 建议显存
Qwen3 4B 6GB+
Qwen3 8B 10GB+
DeepSeek-R1 8B 12GB+
Llama3 8B 10GB+
Qwen3 32B 24GB+
相关推荐
顾鸟1 天前
ComfyUI 使用 LLaMA-Factory 微调的 Qwen3.5:从模型导出到工作流出图--晨羽算力平台
llama·comfyui·工作流·qwen3.5
一条大祥脚9 天前
llama.cpp 深度解析:从 GGUF 到本地推理的事实标准
llama
~远在太平洋~17 天前
大模型评测框架 OpenCompass 本地部署保姆级教程:从安装到跑通 C-Eval 基准(含依赖冲突修复与判分避坑)
llama
程序猿编码19 天前
告别 GPU 空转!token 级调度,Qwen/Llama 高并发推理引擎
人工智能·机器学习·llm·llama·大模型推理
还卿一钵无情泪21 天前
PEFT-Transformers、Unsloth、LLaMA-Factory 微调框架 横向对比
深度学习·大模型·llama·ollama
程序猿编码22 天前
不依赖 vLLM/llama.cpp:一套面向学习的 DeepSeek-R1 CUDA 推理实现
c++·学习·语言模型·llama·vllm·大模型推理
天燹22 天前
本地部署大模型ollama
人工智能·llama
骑着蜗牛撵大象32723 天前
N1 小盒子撑起 AI 接口中转层:New-API 接管本地 Ollama,用 Token 分发模型能力
docker·llama·1024程序员节·api网关·飞牛nas·new-api
言简行敏,心静致远。24 天前
llama-bench使用说明及其应用
llama
AI_Gump25 天前
模型篇|llama.cpp 推理引擎深度解读:从一人练手到 LLM 端侧的事实标准
llama·llama.cpp