Ollama 部署 DeepSeek-R1 及Open-WebUI

Ollama 部署 DeepSeek-R1 及Open-WebUI

文章目录

• [Ollama 部署 DeepSeek-R1 及Open-WebUI](#Ollama 部署 DeepSeek-R1 及Open-WebUI)
• • 〇、说明
  • • 为什么使用本方案
  • [一、 安装Ollama](#一、 安装Ollama)
  • • 1、主要特点：
    • 2、安装
    • 3、验证
  • [二、Ollama 部署 DeepSeek](#二、Ollama 部署 DeepSeek)
  • • 1、部署
    • 2、模型选用
    • [3、Ollama 常用命令](#3、Ollama 常用命令)
    • 4、Ollama模型默认存储路径
  • 安装open-webui
  • • [1、通过Python pip 安装](#1、通过Python pip 安装)
    • • 要求
      • 安装命令
    • [2、通过Docker 安装](#2、通过Docker 安装)
    • • 安装Docker（如已安装请忽略）
      • [使用Docker 部署 open-webui](#使用Docker 部署 open-webui)
    • 3、可能遇到的问题

〇、说明

为什么使用本方案

1. 部署环境与资源

   • 本地部署需要用户自建硬件（如 GPU 集群）和配置环境，适合对数据隐私要求较高或离线处理场景；
   • 线上 API 则由服务商托管，用户通过网络调用，无需自行投资硬件资源。

2. 数据安全与控制

   • 本地部署数据完全由用户掌握，更安全；
   • 线上 API 涉及数据传输和第三方服务器，存在一定隐患。

3. 更新维护与扩展性

   • 线上 API 由提供商持续更新和维护，用户总能使用最新版本；
   • 本地部署需要用户自行管理更新和维护，工作量较大。

4. 成本结构

   • 线上 API 通常按调用计费，初期投入较低；
   • 本地部署前期硬件投入较高，但对于大规模、长期应用可能更具成本优势。

5. 最重要的

   • DeepSeek服务经常500

一、 安装Ollama

Ollama 是一个开源的 AI 模型，主要用于生成和理解图像。它由 Anthropic 开发并发布，这是一个专注于 AI 研究的公司。Ollama 的核心功能包括图像生成、图像分割和图像分类等任务。

1、主要特点：

1. 开源：Ollama 的代码和模型都是公开的，允许研究人员和开发者自由使用和修改。
2. 高质量的图像生成：模型能够生成逼真且多样化的图像，适用于游戏、艺术创作等领域。
3. 实时性：Ollama 模型通常运行在本地设备上，可以快速生成结果，无需依赖云端服务。
4. 多语言支持：模型能够理解和生成多种语言，适合自然语言处理任务。

2、安装

进入Ollama 官网 下载对应系统进行安装

3、验证

安装完成后，打开命令行工具，输入以下命令验证是否安装成功：
ollama --version

如果显示版本号，说明安装成功。

二、Ollama 部署 DeepSeek

1、部署

进入 Ollama 的 DeepSeek-R1 的官方下载地址 选择模型，点击复制按钮

打开终端，输入刚复制的命令
ollama run deepseek-r1:1.5b

下载时间取决于网络速度和模型大小

下载完成后运行
ollama run deepseek-r1:1.5b # 启动指定的 DeepSeek-R1 模型

2、模型选用

根据自己的显存选择对应的模型，2G显卡推荐选1.5b的。

我的电脑是21款 MacBookPro M1 Pro，运行内存16G，显卡是集成显卡，与内存共用同一内存，下载的模型是DeepSeek-R1 8B，后面内存开销很多，导致电脑变卡，可能需要重启,后面下载1.5b 版本，会好很多

3、Ollama 常用命令

ollama pull 模型名字        # 拉取模型
ollama run 模型名字     # 启动指定的 DeepSeek-R1 模型
ollama chat  模型名字       # 使用run 命令启动聊天模式
ollama stop         # 停止正在运行的模型与服务
ollama list     # 查看已下载的模型
ollama help     # 可用命令及简要说明
ollama version      # ollama版本号
ollama logs     # 查看模型运行时的日志输出
ollama update       # 更新 Ollama 工具到最新版本
ollama config       #查看或设置 Ollama 的配置信息（例如 API 密钥、缓存路径等）

4、Ollama模型默认存储路径

~/.ollama/models/

安装open-webui

进入open-webui GitHub 页面

可以看到 open-webui 有两种安装方式

1、通过Python pip 安装

要求

确保您使用的是Python 3.11

安装命令

pip install open-webui      # 安装 Open WebUI
open-webui serve    #运行 Open WebUI

启动后 通过 http://localhost:8080 来访问

2、通过Docker 安装

安装Docker（如已安装请忽略）

以下是 Mac OS 下安装 Docker 的简明步骤：

1. 下载安装包
   访问 Docker 官网（https://www.docker.com/products/docker-desktop/）下载适用于 Mac 的 Docker Desktop 安装包。

2. 安装 Docker Desktop
   双击下载的 .dmg 文件，将 Docker Desktop 拖拽到 Applications 文件夹中。

3. 启动与初始配置
   从 Applications 中启动 Docker Desktop。首次启动时可能需要授权系统权限，按提示操作即可。等待 Docker 图标出现在菜单栏，表示 Docker Desktop 已启动并初始化完成。

4. 验证安装
   打开终端，输入以下命令确认 Docker 版本：

   docker --version

   若显示版本信息，则表示安装成功。

使用Docker 部署 open-webui

因为本地已经安装了Ollama 所以可以使用以下命令安装

docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main

3、可能遇到的问题

如果您遇到连接问题，通常是由于 WebUI docker 容器无法访问容器内 127.0.0.1:11434 (host.docker.internal:11434) 处的 Ollama 服务器。使用--network=hostdocker 命令中的标志来解决此问题。请注意，端口从 3000 更改为 8080，从而导致链接：http://localhost:8080。

Docker 命令示例：

docker run -d --network=host -v open-webui:/app/backend/data -e OLLAMA_BASE_URL=http://127.0.0.1:11434 --name open-webui --restart always ghcr.io/open-webui/open-webui:main