目录
[1. 安装 Docker](#1. 安装 Docker)
[2. 拉取 Ollama 镜像](#2. 拉取 Ollama 镜像)
[3. 运行 Ollama 容器](#3. 运行 Ollama 容器)
[4. 拉取并运行模型](#4. 拉取并运行模型)
[5. 通过 API 访问(可选)](#5. 通过 API 访问(可选))
[6. 停止和重启容器](#6. 停止和重启容器)
使用 Docker 部署 Ollama 是一种简单高效的方式,以下是详细步骤:
1. 安装 Docker
首先确保你的系统已安装 Docker。如果未安装,可以参考官方文档:
2. 拉取 Ollama 镜像
Ollama 官方提供了 Docker 镜像,使用以下命令拉取:
bash
docker pull ollama/ollama
3. 运行 Ollama 容器
使用以下命令启动 Ollama 容器,需要映射端口并挂载数据卷以持久化模型数据:
bash
docker run -d \
--name ollama \
-p 11434:11434 \
-v ollama_data:/root/.ollama \
--restart always \
ollama/ollama
参数说明:
-d
:后台运行容器--name ollama
:指定容器名称为 ollama-p 11434:11434
:将容器的 11434 端口映射到主机的 11434 端口(Ollama 默认端口)-v ollama_data:/root/.ollama
:创建数据卷持久化存储模型--restart always
:容器退出时自动重启
4. 拉取并运行模型
容器启动后,使用以下命令进入容器内部操作:
bash
docker exec -it ollama bash
在容器内拉取并运行模型(以 llama3 为例):
bash
ollama pull llama3
ollama run llama3
5. 通过 API 访问(可选)
如果需要通过 API 访问 Ollama,可以使用 HTTP 请求:
bash
curl http://localhost:11434/api/generate -d '{
"model": "llama3",
"prompt": "Hello! What is Docker?"
}'
6. 停止和重启容器
- 停止容器:
docker stop ollama
- 启动容器:
docker start ollama
- 查看容器状态:
docker ps -a | grep ollama
注意事项
- 如果需要使用 GPU 加速,需要安装 NVIDIA Docker 支持,并使用带有 GPU 的镜像
- 不同模型对系统资源要求不同,确保你的服务器有足够的内存和 CPU/GPU 资源
- 防火墙需要开放 11434 端口(如果需要远程访问)
通过以上步骤,你可以快速在 Docker 中部署和使用 Ollama,管理各种大语言模型。
镜像高速下载地址
镜像将近3个G,没关系,我会出手,已经准备好了高速下载资源
https://pan.quark.cn/s/3f2a66e49a89?pwd=GC1u
我用夸克网盘给你分享了「ollama高速下载镜像」,点击链接或复制整段内容,打开「夸克APP」即可获取。
/~e8eb38Ptt0~:/
链接:https://pan.quark.cn/s/3f2a66e49a89?pwd=GC1u
提取码:GC1u