九.Docker中安装ollama及相关操作

- 1.基础部署（带模型持久化）
- [2.Docker Compose 部署（推荐，方便管理）](#2.Docker Compose 部署（推荐，方便管理）)
- [3. Docker 部署验证与使用](#3. Docker 部署验证与使用)
- 4.安装模型3种方法（任选一种）
- - [方法 1：最常用 → 直接在 Windows 终端执行（推荐）](#方法 1：最常用 → 直接在 Windows 终端执行（推荐）)
  - [方法 2：进入容器内部安装](#方法 2：进入容器内部安装)

1.基础部署（带模型持久化）

核心是通过-v参数挂载宿主机目录，实现模型文件持久化（避免容器删除后模型丢失，同时自定义模型存放位置）：

在宿主机新建模型存放文件夹，示例：D:\Docker\ollama\models

打开 PowerShell，执行以下部署命令：

powershell 复制代码

docker run -d `
--name ollama `
--restart always `
-p 11434:11434 `
-v D:\Docker\ollama\models:/root/.ollama/models `
ollama/ollama:latest

参数说明：

-d：后台运行容器

--name ollama：设置容器名称为 ollama

--restart always：开机自启，容器异常自动重启

-p 11434:11434：端口映射，将容器内 11434 端口映射到宿主机

-v 宿主机路径:/root/.ollama/models：挂载模型目录，容器内默认模型路径为/root/.ollama/models

启用 GPU 加速部署

在基础命令上添加--gpus all参数，即可启用 GPU 加速，大幅提升模型运行速度：

powershell 复制代码

docker run -d `
--name ollama `
--restart always `
--gpus all `
-p 11434:11434 `
-v D:\Docker\ollama\models:/root/.ollama/models `
ollama/ollama:latest

2.Docker Compose 部署（推荐，方便管理）

适合长期使用、需要和其他服务集成的场景，通过docker-compose.yml文件统一管理配置：

新建文件夹 D:\Docker\ollama，在文件夹内新建docker-compose.yml文件，内容如下：

powershell 复制代码

version: '3.8'
services:
  ollama:
    image: ollama/ollama:latest
    container_name: ollama
    restart: always
    ports:
      - "11434:11434"
    # 模型持久化挂载
    volumes:
      - ./models:/root/.ollama/models
    # GPU加速配置（无GPU可删除deploy段）
    deploy:
      resources:
        reservations:
          devices:
            - driver: nvidia
              count: all
              capabilities: [gpu]

在该文件夹内按住 Shift 右键，打开 PowerShell，执行启动命令：
powershell 复制代码
```
docker-compose up -d
```

常用管理命令：

powershell 复制代码

# 停止容器
docker-compose down
# 查看容器日志
docker-compose logs -f

3. Docker 部署验证与使用

执行docker ps，查看 ollama 容器状态为Up，即部署成功。
进入容器运行模型：
powershell 复制代码
```
docker exec -it ollama ollama run llama3
```
宿主机直接访问 API：和原生安装一致，浏览器访问127.0.0.1:11434，显示Ollama is running即正常，可直接对接各类前端、二次开发项目。

4.安装模型3种方法（任选一种）

方法 1：最常用 → 直接在 Windows 终端执行（推荐）

打开 PowerShell，直接运行：

powershell 复制代码

docker exec -it ollama ollama pull 模型名称

示例：

powershell 复制代码

# 安装 llama3 8B
docker exec -it ollama ollama pull llama3
 
# 安装 qwen 通义千问
docker exec -it ollama ollama pull qwen
 
# 安装 glm4 
docker exec -it ollama ollama pull glm4
 
# 安装 通义千问7B 量化版
docker exec -it ollama ollama pull qwen:7b

方法 2：进入容器内部安装

powershell 复制代码

docker exec -it ollama /bin/bash

进入后直接执行：

powershell 复制代码

ollama pull llama3 #默认8B

常用模型下载命令（直接复制）

powershell 复制代码

# Llama 3
docker exec -it ollama ollama pull llama3
 
# Qwen
docker exec -it ollama ollama pull qwen
 
#  GLM-4
docker exec -it ollama ollama pull glm4
 
# 14B
docker exec -it ollama ollama pull qwen:14b
 
# Gemma
docker exec -it ollama ollama pull gemma

查看已安装模型

powershell 复制代码

docker exec -it ollama ollama list

模型会自动保存在你之前挂载的目录（例如 D:\Docker\ollama\models）删除容器不会丢模型！下次重建容器直接能用。