Win11 本地部署大模型 WebUI + ComfyUI

Open WebUI 是一个可扩展、功能丰富且用户友好的自托管 Web 用户界面(WebUI),它被设计用于完全离线操作。该项目最初被称为 Ollama WebUI,后来更名为 Open WebUI。Open WebUI 的主要目的是为本地的大语言模型(LLMs)提供一个图形化的交互界面,使得用户能够更加方便地调试和调用本地模型,它不仅支持本地模型,还兼容 Ollama 和 OpenAI 的 API,同时也支持远程服务器上的模型

win11 本地源码安装 Open WebUI

sh 复制代码
git clone https://github.com/open-webui/open-webui.git
cd open-webui

copy .env.example .env

# 编译前端
npm install
npm run build

# 进入服务端文件夹
cd .\backend

# 可选: 通过 Conda 虚拟环境安装
conda create --name open-webui-env
conda activate open-webui-env

pip install -r requirements.txt -U

# 执行启动脚本 cd .\backend
start_windows.bat

修改运行参数(.env):

ini 复制代码
OLLAMA_BASE_URL='http://localhost:11434'
OPENAI_API_BASE_URL='https://domain.com/v1' # 可从接口查询可用模型
OPENAI_API_KEY='sk-0lkurGuwZAg4T61oB00cD944Ec'

支持的大模型

https://ollama.com/library

通过 WebUI 下载模型

直接搜索并下载

在这里插入图片描述

或打开管理员面板搜索安装:

通过 ollama 下载模型

  1. 下载安装 Ollama:win11 安装包下载地址:https://ollama.com/download
  2. 运行大模型
sh 复制代码
ollama run llama3.1:8b
  1. 刷新 webui 页面可以在列表中找到该模型

集成 SD 图像生成

需已安装 stable-diffusion-webui

sh 复制代码
# 设置 sd 以 api 服务方式运行
set COMMANDLINE_ARGS=--xformers --enable-insecure-extension-access --nowebui --api --api-auth admin:1212 --listen --port 7860
  1. 首先,编写图像生成提示词,让文本生成模型原样回复
  2. 完成后,您可以单击回复下方的图标来生成图像
  3. 在图像完成生成后,可在聊天中查看

推荐 sd 插件

sh 复制代码
git clone https://github.com/AlUlkesh/stable-diffusion-webui-images-browser extensions/stable-diffusion-webui-images-browser
git clone https://github.com/butaixianran/Stable-Diffusion-Webui-Civitai-Helper extensions/Stable-Diffusion-Webui-Civitai-Helper

https://github.com/Mikubill/sd-webui-controlnet

ComfyUI 安装

  1. 下载源码安装依赖
sh 复制代码
git clone https://github.com/comfyanonymous/ComfyUI.git
cd ComfyUI.git
/path-to-python10 -m venv venv
pip install torch torchvision torchaudio --extra-index-url https://download.pytorch.org/whl/cu121
pip install -r requirements.txt
  1. 修改运行参数参数,设置复用 stable-diffusion-webui 目录中的模型:
sh 复制代码
# 在 ComfyUI 根目录中
copy extra_model_paths.yaml.example extra_model_paths.yaml
指定 sd 文件夹路径:
base_path: path/to/stable-diffusion-webui/ 
  1. 安装 ComfyUI-Manager
sh 复制代码
cd custom_nodes
git clone --depth=1 https://github.com/ltdrdata/ComfyUI-Manager.git 
  1. 启动:
sh 复制代码
python ./main.py

问题:NumPy 2 报错,版本降级:

sh 复制代码
pip uninstall numpy
pip install numpy<2

参考

https://github.com/open-webui/open-webui
https://github.com/comfyanonymous/ComfyUI

欢迎合作

如果这篇文章对您有所帮助,欢迎点赞、分享和留言,让更多的人受益。感谢您的细心阅读,如果发现了任何错误或需要补充的地方,请随时告诉我,我会尽快处理 ^_^

相关推荐
水豚AI课代表2 小时前
分析报告、调研报告、工作方案等的提示词
大数据·人工智能·学习·chatgpt·aigc
程序员X小鹿4 小时前
全部免费!6款AI对口型神器,让照片开口说话唱歌,早晚用得上,建议收藏!(附保姆级教程)
aigc
真忒修斯之船4 小时前
大模型分布式训练并行技术(三)流水线并行
面试·llm·aigc
SpikeKing5 小时前
LLM - 使用 LLaMA-Factory 微调大模型 环境配置与训练推理 教程 (1)
人工智能·llm·大语言模型·llama·环境配置·llamafactory·训练框架
学习前端的小z6 小时前
【AIGC】如何通过ChatGPT轻松制作个性化GPTs应用
人工智能·chatgpt·aigc
zzZ_CMing8 小时前
大语言模型训练的全过程:预训练、微调、RLHF
人工智能·自然语言处理·aigc
杰说新技术11 小时前
Meta AI最新推出的长视频语言理解多模态模型LongVU分享
人工智能·aigc
热爱跑步的恒川17 小时前
【论文复现】基于图卷积网络的轻量化推荐模型
网络·人工智能·开源·aigc·ai编程
火山引擎边缘云1 天前
创新实践:基于边缘智能+扣子的智慧婴儿监控解决方案
物联网·aigc·边缘计算
算家云1 天前
如何在算家云搭建Aatrox-Bert-VITS2(音频生成)
人工智能·深度学习·aigc·模型搭建·音频生成·算家云