Docker 部署 Ollama 详细教程以及镜像高速下载地址

目录

[1. 安装 Docker](#1. 安装 Docker)

[2. 拉取 Ollama 镜像](#2. 拉取 Ollama 镜像)

[3. 运行 Ollama 容器](#3. 运行 Ollama 容器)

[4. 拉取并运行模型](#4. 拉取并运行模型)

[5. 通过 API 访问(可选)](#5. 通过 API 访问(可选))

[6. 停止和重启容器](#6. 停止和重启容器)

注意事项

镜像高速下载地址


使用 Docker 部署 Ollama 是一种简单高效的方式,以下是详细步骤:

1. 安装 Docker

首先确保你的系统已安装 Docker。如果未安装,可以参考官方文档:

2. 拉取 Ollama 镜像

Ollama 官方提供了 Docker 镜像,使用以下命令拉取:

bash

复制代码
docker pull ollama/ollama

3. 运行 Ollama 容器

使用以下命令启动 Ollama 容器,需要映射端口并挂载数据卷以持久化模型数据:

bash

复制代码
docker run -d \
  --name ollama \
  -p 11434:11434 \
  -v ollama_data:/root/.ollama \
  --restart always \
  ollama/ollama

参数说明:

  • -d:后台运行容器
  • --name ollama:指定容器名称为 ollama
  • -p 11434:11434:将容器的 11434 端口映射到主机的 11434 端口(Ollama 默认端口)
  • -v ollama_data:/root/.ollama:创建数据卷持久化存储模型
  • --restart always:容器退出时自动重启

4. 拉取并运行模型

容器启动后,使用以下命令进入容器内部操作:

bash

复制代码
docker exec -it ollama bash

在容器内拉取并运行模型(以 llama3 为例):

bash

复制代码
ollama pull llama3
ollama run llama3

5. 通过 API 访问(可选)

如果需要通过 API 访问 Ollama,可以使用 HTTP 请求:

bash

复制代码
curl http://localhost:11434/api/generate -d '{
  "model": "llama3",
  "prompt": "Hello! What is Docker?"
}'

6. 停止和重启容器

  • 停止容器:docker stop ollama
  • 启动容器:docker start ollama
  • 查看容器状态:docker ps -a | grep ollama

注意事项

  • 如果需要使用 GPU 加速,需要安装 NVIDIA Docker 支持,并使用带有 GPU 的镜像
  • 不同模型对系统资源要求不同,确保你的服务器有足够的内存和 CPU/GPU 资源
  • 防火墙需要开放 11434 端口(如果需要远程访问)

通过以上步骤,你可以快速在 Docker 中部署和使用 Ollama,管理各种大语言模型。

镜像高速下载地址

镜像将近3个G,没关系,我会出手,已经准备好了高速下载资源

https://pan.quark.cn/s/3f2a66e49a89?pwd=GC1u

复制代码
我用夸克网盘给你分享了「ollama高速下载镜像」,点击链接或复制整段内容,打开「夸克APP」即可获取。
/~e8eb38Ptt0~:/
链接:https://pan.quark.cn/s/3f2a66e49a89?pwd=GC1u
提取码:GC1u
相关推荐
Decay__11 小时前
05_MySQL 常用 SQL 大全 —— 诊断、管理、优化辅助 SQL 与三大系统库速查
运维·数据库·sql·mysql·架构
贞明电子13 小时前
工业三色报警灯怎么接入项目系统?开关量与RS485控制应用指南
运维·网络·微信公众平台·贞明电子
万联WANFLOW14 小时前
海外网络故障怎么排查?Cloudflare 三季度断网报告解读与 mtr 实战
运维·网络·故障分析
Ruiery16 小时前
Linux 6.6内核内存管理深度解析(十三):slab/slub 分配器
linux·运维·服务器
Decay__17 小时前
04_MySQL DBA 日常运维手册 —— 会话管理、锁与阻塞、事务监控、慢查询与日志巡检
运维·数据库·sql·mysql·架构
江华森18 小时前
数据中心基础设施运维实战:概述与实验环境搭建
运维
迪菲赫尔曼18 小时前
【基础篇 11】把官方源码放到服务器:版本、解压层级和安装位置,一次弄清楚
运维·服务器·开发语言·人工智能·python·yolo·目标检测
by2099920 小时前
Linux GCC/G++ 编译与 Makefile 构建
linux·运维·服务器·经验分享
螺丝钉tina20 小时前
[Playwright][08] Upload 模块自动化:如何设计真实业务测试用例?
运维·自动化·测试用例
迪菲赫尔曼20 小时前
【基础篇 12】把环境与源码接起来:检查 GPU,再安装服务器上的项目
运维·服务器·开发语言·人工智能·python·yolo·目标检测