企业本地大模型用Ollama+Open WebUI+Stable Diffusion可视化问答及画图

最近在尝试搭建公司内部用户的大模型,可视化回答,并让它能画图出来, 主要包括四块:

  1. Ollama 管理和下载各个模型的工具
  2. Open WebUI 友好的对话界面
  3. Stable Diffusion 绘图工具
  4. Docker 部署在容器里,提高效率

以上运行环境Win10, Ollama,SD直接装在windows10下, 然后安装Docker Desktop版, 将Open WebUI部署在Docker内

一 Ollama

直接去https://ollama.com/ 下载安装

Ollama修改存储路径

不改的话系统盘装不下,默认情况下ollama模型的存储目录如下:

bash 复制代码
macOS: ~/.ollama/models
Linux: /usr/share/ollama/.ollama/models
Windows: C:\Users\<username>\.ollama\models

我的Windows10, 则需设置环境变量 OLLAMA_MODELS, 把它设置为所选目录。

bash 复制代码
OLLAMA_MODELS=D:\ollama-models

如果想在其他电脑用ip可以访问加环境变量,为了安全可以不加:

bash 复制代码
OLLAMA_HOST=0.0.0.0
OLLAMA_ORIGINS=*

默认端口:11434 , 打开显示Ollama is running 表示成功

Ollama安装大模型和索引模型

从这里查看模型库: https://ollama.com/library

下载 qwen2 qwen ,chinese, llama3 shaw/dmeta-embedding-zh 等模型

bash 复制代码
阿里巴巴的大模型:
ollama run  qwen
ollama run qwen:14b
ollama run qwen:32b
ollama run qwen:72b
ollama run qwen:110b   # 110b 表示该模型包含了 1100 亿(110 billion)个参数
​
​
脸书大模型:
ollama run llama2
ollama run llama3
ollama run llama3:8b
​
谷歌的大模型:
ollama run gemma
​
微软的大模型
ollama run phi3
​
显示所有模型
# ollama list
​
删除模型
# ollama rm llama3:latest

下载完后可以直接在CMD下与它对话:

二 Docker

下载:https://www.docker.com/products/docker-desktop/ 最新版本, 我当时下载的l默认版本 4.31.1, 后来发现是大坑, 一会儿再讲原因, 后来重装了4.29.0,从这里下载历史版本:
https://docs.docker.com/desktop/release-notes/

docker提速改国内源下载:

bash 复制代码
"registry-mirrors": [
    "https://hub-mirror.c.163.com",
    "https://mirror.baidubce.com"
  ]

参考: https://www.cnblogs.com/Flat-White/p/17107494.html

docker修改默认存储位置

缓存文件还是不要放在C盘上,得改到其他盘。 发现4.31.0无论如何没有data那个目录,反复很多次不成功,在搜了一晚上后差点放弃不改路径了, 后来换了个版本4.29.0后正常了,将C盘AppData\docker\wsl\下的缓存改到D:\docker-data:

bash 复制代码
wsl --shutdown
wsl --export docker-desktop-data D:\docker-data\docker-desktop-data.tar
wsl --unregister docker-desktop-data
wsl --import docker-desktop-data D:\docker-data D:\docker-data\docker-desktop-data.tar --version 2

参考: https://www.cnblogs.com/xhznl/p/13184398.html

三 Stable Diffusion

直接用秋叶大佬的一键安装包: https://www.stablediffusion-cn.com/sd/sd-install/118.html

安装上常规的插件ControlnetLora, 把远程监听打开,让其他的机子可以访问

这个不用多说, 里面的使用以后我再开个贴子

四 Open WebUI

前面已经部署过docker, 目的是方便管理维护, 在CMD下:

bash 复制代码
docker run -d -p 3450:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main

Open WebUI查看Ollama 关联

改了默认端口 3000,改为3450的目的是与后面的知识库部署有冲突

默认要注册个帐号,登进去查看关联的Ollama地址对不对

Open WebUI关联Stable Diffusion

填上SD地址,选好SD模型名称(**注意是SD的生成图片的模型,不是Ollama的大模型 **), 权限字符串估计是个认证防止很多人联SD来用占资源,加个123的密码

五 最终效果展示

二种不同的模型不同的回答,qwen2要强得多

画图要装stable diffusion-prompt-generator模型,然后在回答文字下面选那排图标,有个生成图象的图标,点它,等一会儿就生成出来了

交流q:

bash 复制代码
link :  316853809
相关推荐
JCGKS1 小时前
Docker|“ssh: connect to host xxx.xxx.xxx.xxx port 8000: Connection refused“问题解决
docker·ssh·端口·listen·tcp三次握手
惜.己1 小时前
Docker启动失败 Failed to start Docker Application Container Engine.
spring cloud·docker·eureka
scugxl2 小时前
centos7 docker离线安装
运维·docker·容器
即兴小索奇2 小时前
CodePerfAI体验:AI代码性能分析工具如何高效排查性能瓶颈、优化SQL执行耗时?
ai·商业·ai商业洞察·即兴小索奇
即兴小索奇4 小时前
Codeium:免费开源代码自动补全工具,高效管理代码片段告别开发卡壳
ai·商业·ai商业洞察·即兴小索奇
我没想到原来他们都是一堆坏人4 小时前
通过Gen AI SDK调用gemini 2.5 pro,单独上传pdf文件 | ai agent 开发笔记 2025.9.2 Day 2
ai·google·pdf·sdk·gemini
ITZHIHONH4 小时前
FastGPT源码解析 工作流、知识库、大模型、Agent等核心代码文件梳理
ai·ai编程
API流转日记4 小时前
Gemini-2.5-Flash-Image-Preview 与 GPT-4o 图像生成能力技术差异解析
人工智能·gpt·ai·chatgpt·ai作画·googlecloud
计算机小手4 小时前
AI 驱动数据分析:开源 SQLBot 项目探索,基于大模型和 RAG 实现精准问数与图表挖掘
经验分享·docker·开源软件
AI大模型4 小时前
基于Docker+DeepSeek+Dify :搭建企业级本地私有化知识库超详细教程
docker·llm·deepseek