本地大模型搭建与webui交互

本地大模型搭建与webui交互

概述

本文档记录如何通过以下步骤快速搭建本地模型服务：

1. 使用 Ollama 客户端部署本地模型
2. 通过 Docker 部署 WebUI 界面
3. 实现浏览器交互式访问

环境准备

• 支持 Docker 的操作系统（Windows/macOS/Linux）
• 已安装 Ollama 客户端
• 已安装 Docker（这里如果可以的话，我个人建议使用DockerDesktop，这样更加直观）

操作步骤

1. 安装 Ollama 客户端

1. 访问 Ollama 官网 下载对应系统的客户端
2. 完成安装后，验证版本：

ollama --version
# 应输出类似：ollama version 0.5.11

运行态

ollama下载后打开就是一个后台运行程序，无任何交互页面，但是你在后台进程里面能够看到他，就说明正常运行了。（第一次双击打开，发现没啥反应请不用激动）

2. 模型操作

通过命令行直接拉取模型（以 deepseek 为例）：

 ollama pull deepseek-r1:14b

运行模型：

ollama run deepseek-r1:14b

查看模型集合

ollama list

是的，就是这么简单。整个模型的操作就是这么几步，但是与其考虑这个，不如考虑一下，你的适用场景，能拉什么模型？

3.模型选择

我们以标准的32G电脑内存为例：如果你是程序员，且主要功能是用于做代码开发的（苦于openAI的外网和deepSeek的网络问题，你可以尝试本地拉着先玩玩。但实际上，哪怕我拉了32b的还是不太智能，不如直接装个github copilot）

模型推荐（基于 32GB 内存）

ollama的标准模型地址：

https://ollama.com/search

顺带看一下 顶配671b

我不知道他多大，但是可以用我本地的对比一下

1. 代码开发场景

模型名称	推荐理由	内存占用
CodeLLaMA	专为代码生成优化，支持多种编程语言（Python、Java、C++ 等）	~16GB
StarCoder	高性能代码生成模型，适合大型项目开发	~20GB
WizardCoder	基于 CodeLLaMA 微调，代码生成质量更高	~18GB

2. 通用开发场景

模型名称	推荐理由	内存占用
LLaMA 2	通用性强，适合文档生成、代码解释、问题解答等	~20GB
Mistral	高性能通用模型，推理速度快，适合日常开发辅助	~16GB
Falcon	轻量级通用模型，适合快速原型开发和实验	~12GB

3. 多模态场景

模型名称	推荐理由	内存占用
LLaVA	支持图像和文本交互，适合需要处理多模态数据的开发场景	~24GB
MiniGPT-4	轻量级多模态模型，适合图像描述、文档生成等任务	~20GB

webui部署

事实上，你刚刚拉我就可以直接ollama run 对应的模型了，但问题是：这种交互方式极度不友好。

你不能贴图片解析，换行也不好换行

所以一般需要一个webui

镜像拉取

docker pull ghcr.io/open-webui/open-webui:main

docker 运行(注意：关闭了OpenAI)

docker run -d \
  --name ollama-webui \
  -p 3000:8080 \
  -e OLLAMA_API_BASE_URL=http://host.docker.internal:11434 \
  -e OPENAI_API_KEY=disabled \
  -e DISABLE_OPENAI=true \
  --add-host=host.docker.internal:host-gateway \
  ghcr.io/open-webui/open-webui:main

注意一下，我把OPENAI_API_KEY给关闭了，因为正常你不翻墙的话，他连接不了，就导致第一次打开很慢（你要等到他http超时，才往下去load本地模型）

运行效果图

创建你个人账号后，就可以进去了。（如果很慢的话，记得看一下你的本地docker日志，之前是因为他默认会连接openAI，外网无法访问，要等他http超时）

常见问题排查

模型无法加载

确认 Ollama 服务已运行：

curl http://localhost:11434

检查模型是否下载完成：

ollama list

WebUI 无法连接

验证容器网络配置：

docker exec ollama-webui curl -v http://host.docker.internal:11434

检查防火墙设置是否放行 11434 和 3000 端口