本地大模型搭建与webui交互

本地大模型搭建与webui交互

概述

本文档记录如何通过以下步骤快速搭建本地模型服务:

  1. 使用 Ollama 客户端部署本地模型
  2. 通过 Docker 部署 WebUI 界面
  3. 实现浏览器交互式访问

环境准备

  • 支持 Docker 的操作系统(Windows/macOS/Linux)
  • 已安装 Ollama 客户端
  • 已安装 Docker(这里如果可以的话,我个人建议使用DockerDesktop,这样更加直观)

操作步骤

1. 安装 Ollama 客户端

  1. 访问 Ollama 官网 下载对应系统的客户端
  2. 完成安装后,验证版本:
bash 复制代码
ollama --version
# 应输出类似:ollama version 0.5.11
运行态

ollama下载后打开就是一个后台运行程序,无任何交互页面,但是你在后台进程里面能够看到他,就说明正常运行了。(第一次双击打开,发现没啥反应请不用激动)

2. 模型操作

通过命令行直接拉取模型(以 deepseek 为例):

复制代码
 ollama pull deepseek-r1:14b

运行模型:

复制代码
ollama run deepseek-r1:14b

查看模型集合

复制代码
ollama list

是的,就是这么简单。整个模型的操作就是这么几步,但是与其考虑这个,不如考虑一下,你的适用场景,能拉什么模型?

3.模型选择

我们以标准的32G电脑内存为例:如果你是程序员,且主要功能是用于做代码开发的(苦于openAI的外网和deepSeek的网络问题,你可以尝试本地拉着先玩玩。但实际上,哪怕我拉了32b的还是不太智能,不如直接装个github copilot)

模型推荐(基于 32GB 内存)

ollama的标准模型地址:

https://ollama.com/search

顺带看一下 顶配671b

我不知道他多大,但是可以用我本地的对比一下

1. 代码开发场景

模型名称 推荐理由 内存占用
CodeLLaMA 专为代码生成优化,支持多种编程语言(Python、Java、C++ 等) ~16GB
StarCoder 高性能代码生成模型,适合大型项目开发 ~20GB
WizardCoder 基于 CodeLLaMA 微调,代码生成质量更高 ~18GB

2. 通用开发场景

模型名称 推荐理由 内存占用
LLaMA 2 通用性强,适合文档生成、代码解释、问题解答等 ~20GB
Mistral 高性能通用模型,推理速度快,适合日常开发辅助 ~16GB
Falcon 轻量级通用模型,适合快速原型开发和实验 ~12GB

3. 多模态场景

模型名称 推荐理由 内存占用
LLaVA 支持图像和文本交互,适合需要处理多模态数据的开发场景 ~24GB
MiniGPT-4 轻量级多模态模型,适合图像描述、文档生成等任务 ~20GB

webui部署

事实上,你刚刚拉我就可以直接ollama run 对应的模型了,但问题是:这种交互方式极度不友好。

你不能贴图片解析,换行也不好换行

所以一般需要一个webui

镜像拉取

复制代码
docker pull ghcr.io/open-webui/open-webui:main

docker 运行(注意:关闭了OpenAI)

复制代码
docker run -d \
  --name ollama-webui \
  -p 3000:8080 \
  -e OLLAMA_API_BASE_URL=http://host.docker.internal:11434 \
  -e OPENAI_API_KEY=disabled \
  -e DISABLE_OPENAI=true \
  --add-host=host.docker.internal:host-gateway \
  ghcr.io/open-webui/open-webui:main

注意一下,我把OPENAI_API_KEY给关闭了,因为正常你不翻墙的话,他连接不了,就导致第一次打开很慢(你要等到他http超时,才往下去load本地模型)

运行效果图

创建你个人账号后,就可以进去了。(如果很慢的话,记得看一下你的本地docker日志,之前是因为他默认会连接openAI,外网无法访问,要等他http超时)


常见问题排查

模型无法加载

确认 Ollama 服务已运行:

复制代码
curl http://localhost:11434

检查模型是否下载完成:

复制代码
ollama list

WebUI 无法连接

验证容器网络配置:

复制代码
docker exec ollama-webui curl -v http://host.docker.internal:11434

检查防火墙设置是否放行 11434 和 3000 端口

相关推荐
-曾牛1 小时前
Spring AI 快速入门:从环境搭建到核心组件集成
java·人工智能·spring·ai·大模型·spring ai·开发环境搭建
自由鬼1 小时前
开源AI开发工具:OpenAI Codex CLI
人工智能·ai·开源·软件构建·开源软件·个人开发
豌豆花下猫6 小时前
Python 潮流周刊#99:如何在生产环境中运行 Python?(摘要)
后端·python·ai
深圳市快瞳科技有限公司6 小时前
当OCR遇上“幻觉”:如何让AI更靠谱地“看懂”文字?
人工智能·ai·ocr
带刺的坐椅8 小时前
开发 MCP Proxy(代理)也可以用 Solon AI MCP 哟!
java·ai·llm·solon·mcp·mcp-server·mcp-client
Zhikes13 小时前
潮了 低配电脑6G显存生成60秒AI视频 本地部署/一键包/云算力部署/批量生成
ai
yuanlaile16 小时前
AI大模型自然语言处理能力案例演示
人工智能·ai·自然语言处理
考拉悠然科技19 小时前
考拉悠然:科技与匠心,以烟草虫情AI监测系统共筑品质未来
ai
安冬的码畜日常19 小时前
【AI 加持下的 Python 编程实战 2_10】DIY 拓展:从扫雷小游戏开发再探问题分解与 AI 代码调试能力(中)
开发语言·前端·人工智能·ai·扫雷游戏·ai辅助编程·辅助编程