本地大模型搭建与webui交互

本地大模型搭建与webui交互

概述

本文档记录如何通过以下步骤快速搭建本地模型服务:

  1. 使用 Ollama 客户端部署本地模型
  2. 通过 Docker 部署 WebUI 界面
  3. 实现浏览器交互式访问

环境准备

  • 支持 Docker 的操作系统(Windows/macOS/Linux)
  • 已安装 Ollama 客户端
  • 已安装 Docker(这里如果可以的话,我个人建议使用DockerDesktop,这样更加直观)

操作步骤

1. 安装 Ollama 客户端

  1. 访问 Ollama 官网 下载对应系统的客户端
  2. 完成安装后,验证版本:
bash 复制代码
ollama --version
# 应输出类似:ollama version 0.5.11
运行态

ollama下载后打开就是一个后台运行程序,无任何交互页面,但是你在后台进程里面能够看到他,就说明正常运行了。(第一次双击打开,发现没啥反应请不用激动)

2. 模型操作

通过命令行直接拉取模型(以 deepseek 为例):

复制代码
 ollama pull deepseek-r1:14b

运行模型:

复制代码
ollama run deepseek-r1:14b

查看模型集合

复制代码
ollama list

是的,就是这么简单。整个模型的操作就是这么几步,但是与其考虑这个,不如考虑一下,你的适用场景,能拉什么模型?

3.模型选择

我们以标准的32G电脑内存为例:如果你是程序员,且主要功能是用于做代码开发的(苦于openAI的外网和deepSeek的网络问题,你可以尝试本地拉着先玩玩。但实际上,哪怕我拉了32b的还是不太智能,不如直接装个github copilot)

模型推荐(基于 32GB 内存)

ollama的标准模型地址:

https://ollama.com/search

顺带看一下 顶配671b

我不知道他多大,但是可以用我本地的对比一下

1. 代码开发场景

模型名称 推荐理由 内存占用
CodeLLaMA 专为代码生成优化,支持多种编程语言(Python、Java、C++ 等) ~16GB
StarCoder 高性能代码生成模型,适合大型项目开发 ~20GB
WizardCoder 基于 CodeLLaMA 微调,代码生成质量更高 ~18GB

2. 通用开发场景

模型名称 推荐理由 内存占用
LLaMA 2 通用性强,适合文档生成、代码解释、问题解答等 ~20GB
Mistral 高性能通用模型,推理速度快,适合日常开发辅助 ~16GB
Falcon 轻量级通用模型,适合快速原型开发和实验 ~12GB

3. 多模态场景

模型名称 推荐理由 内存占用
LLaVA 支持图像和文本交互,适合需要处理多模态数据的开发场景 ~24GB
MiniGPT-4 轻量级多模态模型,适合图像描述、文档生成等任务 ~20GB

webui部署

事实上,你刚刚拉我就可以直接ollama run 对应的模型了,但问题是:这种交互方式极度不友好。

你不能贴图片解析,换行也不好换行

所以一般需要一个webui

镜像拉取

复制代码
docker pull ghcr.io/open-webui/open-webui:main

docker 运行(注意:关闭了OpenAI)

复制代码
docker run -d \
  --name ollama-webui \
  -p 3000:8080 \
  -e OLLAMA_API_BASE_URL=http://host.docker.internal:11434 \
  -e OPENAI_API_KEY=disabled \
  -e DISABLE_OPENAI=true \
  --add-host=host.docker.internal:host-gateway \
  ghcr.io/open-webui/open-webui:main

注意一下,我把OPENAI_API_KEY给关闭了,因为正常你不翻墙的话,他连接不了,就导致第一次打开很慢(你要等到他http超时,才往下去load本地模型)

运行效果图

创建你个人账号后,就可以进去了。(如果很慢的话,记得看一下你的本地docker日志,之前是因为他默认会连接openAI,外网无法访问,要等他http超时)


常见问题排查

模型无法加载

确认 Ollama 服务已运行:

复制代码
curl http://localhost:11434

检查模型是否下载完成:

复制代码
ollama list

WebUI 无法连接

验证容器网络配置:

复制代码
docker exec ollama-webui curl -v http://host.docker.internal:11434

检查防火墙设置是否放行 11434 和 3000 端口

相关推荐
AIGC-Lison33 分钟前
【CSDN首发】Stable Diffusion从零到精通学习路线分享
人工智能·ai·stable diffusion·aigc·sd
AI绘画咪酱33 分钟前
Stable Diffusion|Ai赋能电商 Inpaint Anything
人工智能·ai·ai作画·stable diffusion·sd·ai教程·sd教程
wang_yb2 小时前
线性模型与多分类问题:简单高效的力量
ai·databook
无代码Dev1 天前
如何使用AI去水印(ChatGPT去除图片水印)
人工智能·ai·ai-native
wang_yb1 天前
线性判别分析(LDA):降维与分类的完美结合
ai·databook
onlyellow2 天前
【RAGFlow】ubuntu22部署ragflow(v0.17.2)
ai
Elastic 中国社区官方博客2 天前
Elasticsearch:理解政府中的人工智能 - 应用、使用案例和实施
大数据·人工智能·elasticsearch·机器学习·搜索引擎·ai·全文检索
小白跃升坊2 天前
如何优化和提高MaxKB回答的质量和准确性?
ai·大语言模型·max kb
wang_yb2 天前
直线思维的进化:线性到广义线性
ai·databook
0泡3 天前
机器学习、深度学习和神经网络
深度学习·神经网络·机器学习·ai