openwebui使用

文章目录

• 1、feature
• 2、安装使用
• • [2.1 安装过程](#2.1 安装过程)
  • [2.2 安装好后](#2.2 安装好后)

1、feature

1. 可以加载多个大模型 同时回复
   模型问答: 使用vLLM框架部署模型，再使用Open WebUI直接进行模型问答
   多模型支持: 多模型回复比对（Qwen2-72B-Instruct, llama3-70b-8192, mixtral-8x7b）
   RAG场景1: 文档问答
   RAG场景2: 使用Web Search进行问答
   Function Calling: 需用Python实现工具（Tool）代码
   多模态场景: 对图片进行问答（VQA）
   Pipelines: pipeline编排，可自定义工作流程
   模型问答

2、安装使用

github地址：

https://github.com/open-webui/open-webui

2.1 安装过程

python 3.11

# 1
pip install open-webui
# 2  这样能够下载模型
export HF_ENDPOINT="https://hf-mirror.com"
# 启动端口8081
open-webui serve --port 8081 

2.2 安装好后

1. 打开 http:\服务器ip:8081\
2. 注册账号登录
3. 添加了两个模型同时回复问题。
   
   工作空间设置模型
   

• 新建工具，调用
  

  import os
  import requests
  from datetime import datetime

  class Tools:
  def init(self):
  pass

    def get_current_time(self) -> str:
        """
        Get the current time in a more human-readable format.
        :return: The current time.
        """
  
        now = datetime.now()
        current_time = now.strftime("%I:%M:%S %p")  # Using 12-hour format with AM/PM
        current_date = now.strftime(
            "%A, %B %d, %Y"
        )  # Full weekday, month name, day, and year
  
        return f"Current Date and Time = {current_date}, {current_time}"

选择上就可以调用工具了

参考：https://percent4.github.io/NLP（一百零三）大模型应用利器之Open-WebUI入门/