Docker中部署Ollama大模型服务的完整指南
基础部署流程
拉取Ollama镜像
从Docker Hub获取最新镜像：
docker pull ollama/ollama:latest启动容器
执行以下命令启动容器并配置关键参数：
docker run -d \
--name ollama \
-p 11434:11434 \
-v ollama-data:/root/.ollama \
ollama/ollama:latest参数说明：
| 参数 | 作用 |
|---|---|
-d |
后台运行容器 |
-p 11434:11434 |
端口映射 |
-v ollama-data:/root/.ollama |
数据持久化 |
--name ollama |
容器命名 |
验证部署
检查容器运行状态：
docker ps | grep ollama访问http://localhost:11434，返回Ollama is running即表示成功。
核心操作指令
模型管理
# 拉取模型
docker exec -it ollama ollama pull llama3
# 运行模型
docker exec -it ollama ollama run llama3
# 列出本地模型
docker exec -it ollama ollama list容器维护
# 进入容器
docker exec -it ollama bash
# 停止/删除容器
docker stop ollama
docker rm ollama
# 删除镜像
docker rmi ollama/ollama:latest高级配置方案
GPU加速支持
配置NVIDIA GPU需安装nvidia-docker后添加参数：
docker run -d \
--name ollama \
--gpus all \
-p 11434:11434 \
-v ollama-data:/root/.ollama \
ollama/ollama:latest环境变量配置
通过-e参数设置默认模型等变量：
docker run -d \
--name ollama \
-e OLLAMA_MODEL="llama3" \
-p 11434:11434 \
ollama/ollama:latest故障排查指南
| 问题现象 | 解决方案 |
|---|---|
| 端口冲突 | 修改映射端口（如-p 11435:11434） |
| 模型下载慢 | 配置国内镜像源或使用代理 |
| GPU不可用 | 安装NVIDIA驱动和nvidia-container-toolkit |