【GPT入门】第52课 openwebui安装与使用

【GPT入门】第52课 openwebui安装与使用

1. openwebui是什么

官网: https://docs.openwebui.com/

官方介绍:

复制代码
Open WebUI is an extensible, feature-rich, and user-friendly self-hosted AI platform designed to operate entirely offline. It supports various LLM runners like Ollama and OpenAI-compatible APIs, with built-in inference engine for RAG, making it a powerful AI deployment solution.
  • 官网介绍翻译

Open WebUI 是一个可扩展、功能丰富且用户友好的自托管人工智能平台,旨在完全离线运行。它支持多种大语言模型运行器,如 Ollama 和兼容 OpenAI 的 API,并内置了用于检索增强生成(RAG)的推理引擎,是一款功能强大的人工智能部署解决方案。

2.openwebui如何使用

  • 准备环境

    默认安装目录:

    conda create -n open-webui python==3.11

    指定数据盘目录,避免占用巨大的系统盘空间,导致磁盘空间不足:

    conda create --prefix /root/autodl-tmp/conda_envs/open-webui python=3.11

  • 安装

    source /etc/network_turbo (autodl服务器用于学术加速)

    pip install open-webui

  • 启动服务

    open-webui serve

  • auto中增加端口转发,端口是8080, 如果是本地电脑,不需要端口转发

  • 打开webui

    http://localhost:8080/

3.注意事项

如果是微调的llm,微调的llm可能与openwebui的不一致,并且就算部署时指定模板,openwebui会每次与模型交互式,强势刷新对话模板

用的对话模板:不是模型自带的

  • openwebui 查微调后的模型,回复会乱七八糟
  • 问原始模型 qwen3.0b
  • qwen3.0b下载方法