Ollama+open-webui部署模型

1.启动Ollama服务
- [1.1 安装ollama](#1.1 安装ollama)
- [1.2 启动ollama服务](#1.2 启动ollama服务)
- [1.3 运行模型：](#1.3 运行模型：)
[2. 使用 Open WebUI 部署模型](#2. 使用 Open WebUI 部署模型)
- [2.1 创建虚拟环境](#2.1 创建虚拟环境)
- [2.2 安装所有依赖](#2.2 安装所有依赖)
- [2.3 运行 ollama](#2.3 运行 ollama)
- [2.4 运行 open-webui](#2.4 运行 open-webui)
- [2.5 启动浏览器，开始对话](#2.5 启动浏览器，开始对话)

1.启动Ollama服务

1.1 安装ollama

python 复制代码

curl -fsSL https://ollama.com/install.sh | sh

1.2 启动ollama服务

python 复制代码

ollama serve

1.3 运行模型：

python 复制代码

ollama run ollama run qwen2.5:0.5b

2. 使用 Open WebUI 部署模型

Open WebUI 是一个可扩展的、自托管的 AI 界面，可以适应您的工作流程，同时完全离线操作。

python 复制代码

仓库：https://github.com/open-webui/open-webui
文档：https://docs.openwebui.com/

2.1 创建虚拟环境

python 复制代码

conda create -n open-webui python==3.11

这里选用 python 3.11 版本是因为 open-webui 的要求。

2.2 安装所有依赖

python 复制代码

conda activate open-webui
pip install -U open-webui torch transformers

2.3 运行 ollama

python 复制代码

ollama serve

2.4 运行 open-webui

由于 ollama 的运行导致原终端阻塞，因此要另外开一个新终端。

python 复制代码

conda activate open-webui
export HF_ENDPOINT=https://hf-mirror.com
export ENABLE_OLLAMA_API=True
export OPENAI_API_BASE_URL=http://127.0.0.1:11434/v1
open-webui serve

2.5 启动浏览器，开始对话

一切运行正常后，可以通过浏览器输入 http://127.0.0.1:8080 打开 open-webui 面板进行使用。