【GPT入门】第52课 openwebui安装与使用
- [1. openwebui是什么](#1. openwebui是什么)
- 2.openwebui如何使用
- 3.注意事项
1. openwebui是什么
官网: https://docs.openwebui.com/
官方介绍:
Open WebUI is an extensible, feature-rich, and user-friendly self-hosted AI platform designed to operate entirely offline. It supports various LLM runners like Ollama and OpenAI-compatible APIs, with built-in inference engine for RAG, making it a powerful AI deployment solution.
- 官网介绍翻译
Open WebUI 是一个可扩展、功能丰富且用户友好的自托管人工智能平台,旨在完全离线运行。它支持多种大语言模型运行器,如 Ollama 和兼容 OpenAI 的 API,并内置了用于检索增强生成(RAG)的推理引擎,是一款功能强大的人工智能部署解决方案。
2.openwebui如何使用
-
准备环境
默认安装目录:
conda create -n open-webui python==3.11
指定数据盘目录,避免占用巨大的系统盘空间,导致磁盘空间不足:
conda create --prefix /root/autodl-tmp/conda_envs/open-webui python=3.11
-
安装
source /etc/network_turbo (autodl服务器用于学术加速)
pip install open-webui
-
启动服务
open-webui serve
-
auto中增加端口转发,端口是8080, 如果是本地电脑,不需要端口转发
-
打开webui
3.注意事项
如果是微调的llm,微调的llm可能与openwebui的不一致,并且就算部署时指定模板,openwebui会每次与模型交互式,强势刷新对话模板
用的对话模板:不是模型自带的
- openwebui 查微调后的模型,回复会乱七八糟
- 问原始模型 qwen3.0b
- qwen3.0b下载方法