本地大模型搭建与webui交互

本地大模型搭建与webui交互

概述

本文档记录如何通过以下步骤快速搭建本地模型服务:

  1. 使用 Ollama 客户端部署本地模型
  2. 通过 Docker 部署 WebUI 界面
  3. 实现浏览器交互式访问

环境准备

  • 支持 Docker 的操作系统(Windows/macOS/Linux)
  • 已安装 Ollama 客户端
  • 已安装 Docker(这里如果可以的话,我个人建议使用DockerDesktop,这样更加直观)

操作步骤

1. 安装 Ollama 客户端

  1. 访问 Ollama 官网 下载对应系统的客户端
  2. 完成安装后,验证版本:
bash 复制代码
ollama --version
# 应输出类似:ollama version 0.5.11
运行态

ollama下载后打开就是一个后台运行程序,无任何交互页面,但是你在后台进程里面能够看到他,就说明正常运行了。(第一次双击打开,发现没啥反应请不用激动)

2. 模型操作

通过命令行直接拉取模型(以 deepseek 为例):

复制代码
 ollama pull deepseek-r1:14b

运行模型:

复制代码
ollama run deepseek-r1:14b

查看模型集合

复制代码
ollama list

是的,就是这么简单。整个模型的操作就是这么几步,但是与其考虑这个,不如考虑一下,你的适用场景,能拉什么模型?

3.模型选择

我们以标准的32G电脑内存为例:如果你是程序员,且主要功能是用于做代码开发的(苦于openAI的外网和deepSeek的网络问题,你可以尝试本地拉着先玩玩。但实际上,哪怕我拉了32b的还是不太智能,不如直接装个github copilot)

模型推荐(基于 32GB 内存)

ollama的标准模型地址:

https://ollama.com/search

顺带看一下 顶配671b

我不知道他多大,但是可以用我本地的对比一下

1. 代码开发场景

模型名称 推荐理由 内存占用
CodeLLaMA 专为代码生成优化,支持多种编程语言(Python、Java、C++ 等) ~16GB
StarCoder 高性能代码生成模型,适合大型项目开发 ~20GB
WizardCoder 基于 CodeLLaMA 微调,代码生成质量更高 ~18GB

2. 通用开发场景

模型名称 推荐理由 内存占用
LLaMA 2 通用性强,适合文档生成、代码解释、问题解答等 ~20GB
Mistral 高性能通用模型,推理速度快,适合日常开发辅助 ~16GB
Falcon 轻量级通用模型,适合快速原型开发和实验 ~12GB

3. 多模态场景

模型名称 推荐理由 内存占用
LLaVA 支持图像和文本交互,适合需要处理多模态数据的开发场景 ~24GB
MiniGPT-4 轻量级多模态模型,适合图像描述、文档生成等任务 ~20GB

webui部署

事实上,你刚刚拉我就可以直接ollama run 对应的模型了,但问题是:这种交互方式极度不友好。

你不能贴图片解析,换行也不好换行

所以一般需要一个webui

镜像拉取

复制代码
docker pull ghcr.io/open-webui/open-webui:main

docker 运行(注意:关闭了OpenAI)

复制代码
docker run -d \
  --name ollama-webui \
  -p 3000:8080 \
  -e OLLAMA_API_BASE_URL=http://host.docker.internal:11434 \
  -e OPENAI_API_KEY=disabled \
  -e DISABLE_OPENAI=true \
  --add-host=host.docker.internal:host-gateway \
  ghcr.io/open-webui/open-webui:main

注意一下,我把OPENAI_API_KEY给关闭了,因为正常你不翻墙的话,他连接不了,就导致第一次打开很慢(你要等到他http超时,才往下去load本地模型)

运行效果图

创建你个人账号后,就可以进去了。(如果很慢的话,记得看一下你的本地docker日志,之前是因为他默认会连接openAI,外网无法访问,要等他http超时)


常见问题排查

模型无法加载

确认 Ollama 服务已运行:

复制代码
curl http://localhost:11434

检查模型是否下载完成:

复制代码
ollama list

WebUI 无法连接

验证容器网络配置:

复制代码
docker exec ollama-webui curl -v http://host.docker.internal:11434

检查防火墙设置是否放行 11434 和 3000 端口

相关推荐
云宏信息2 小时前
赛迪顾问《2025中国虚拟化市场研究报告》解读丨虚拟化市场迈向“多元算力架构”,国产化与AI驱动成关键变量
网络·人工智能·ai·容器·性能优化·架构·云计算
Insight-n4 小时前
低代码数字化时代的开发新范式
低代码·ai
带刺的坐椅8 小时前
Solon v3.4.6, v3.5.4, v3.6.0-M1 发布。正式开始 LTS 计划
java·spring·ai·web·solon·mcp
守城小轩8 小时前
从零开始学习n8n-一文读懂n8n
ai·n8n
Learn Beyond Limits8 小时前
Choosing the Number of Clusters|选择聚类的个数
人工智能·深度学习·神经网络·机器学习·ai·聚类·吴恩达
科技峰行者11 小时前
阿里云无影发布首个Agentic Computer形态的个人计算产品
人工智能·阿里云·ai·agent
Elastic 中国社区官方博客11 小时前
使用 Elasticsearch 构建 AI Agentic 工作流
大数据·数据库·人工智能·elasticsearch·搜索引擎·ai·全文检索
Nukepayload21 天前
基于洞察的智能编程法——从直觉到代码的原型炼成术
ai·提示词工程
万俟淋曦1 天前
【ROS2】通讯机制 Topic 常用命令行
人工智能·ai·机器人·ros·topic·ros2·具身智能
CoderJia程序员甲1 天前
GitHub 热榜项目 - 日榜(2025-09-24)
ai·开源·大模型·github·ai教程