Ollama + Open WebUI 搭建本地大模型

全栈技术负责人2026-08-11 11:14

在本机跑一个可对话的本地大模型。四步搞定。

1. 装 Ollama

去 ollama.com 下载安装（用户级，无需管理员）。装完自动在后台 11434 端口起服务，验证：

复制代码

curl http://127.0.0.1:11434/api/version

2. 装 Open WebUI（Python）

需要 Python 3.11（不支持 3.12+）。

复制代码

# 建隔离环境
uv venv open-webui-venv --python 3.11

# 装（用清华镜像，直连 pypi 可能失败）
VIRTUAL_ENV="$(pwd)/open-webui-venv" \
  uv pip install open-webui --index-url https://pypi.tuna.tsinghua.edu.cn/simple

没有 uv 也可以用 pip：pip install open-webui。

3. 下模型

复制代码

curl -X POST http://127.0.0.1:11434/api/pull -d '{"name":"qwen2.5-coder:7b"}'

常用模型：qwen2.5:3b（小而快）、qwen2.5-coder:7b（代码，约 4.5GB）。核显机器走 CPU，别拉 14B+。

4. 启动

复制代码

open-webui-venv/Scripts/open-webui serve --port 3000

浏览器打开 http://localhost:3000 → 注册账号（第一个即管理员）→ 选模型开聊。

关机后 Open WebUI 不自启，重开跑一下启动命令即可。

复制代码