Llama(二):Open WebUI作为前端界面,使用本机的llama3

目录

背景

[Open WebUI是什么](#Open WebUI是什么)

工程能力特性

产品功能特性

用户体验特性

[Open WebUI安装并使用](#Open WebUI安装并使用)


背景

Mac M1芯片,16G 内存

llama3 8B的部署参考Llama(一):Mac M1芯片运行Llama3-CSDN博客在Mac M1 16G内存环境中,部署并使用Llama3 8Bhttps://blog.csdn.net/hugo_lei/article/details/139330252

【Open WebUI是什么】

Open WebUI是一个可扩展、功能丰富、用户友好的自托管WebUI,旨在完全离线操作。它支持各种LLM运行程序,包括Ollama和OpenAI兼容的API。

Open WebUI的关键特性

【工程能力特性】

🚀 轻松安装:

  • 使用Docker或Kubernetes(kubectl、kustoize或helm)无缝安装。
  • 也提供了集成ollama的镜像,集成cuda的镜像。

🔐 基于角色的访问控制(RBAC):

  • 确保使用受限权限进行安全访问;
  • 只有经过授权的个人才能访问您的Ollama,并且为管理员保留专属的模型创建/提取权限。

🧩 Pipelines,Open WebUI插件支持:

  • 使用Pipelines插件框架将自定义逻辑和Python库无缝集成到Open WebUI中。
  • 启动你的Pipelines实例,将OpenAI URL设置为Pipelines URL,探索无尽的可能性。示例包括函数调用、控制访问的用户速率限制、使用Langfuse等工具进行使用监控、使用LibreTranslate进行多语言支持的实时翻译、有毒消息过滤等等。(扩展性通过plugin解决)

【产品功能特性】

🤝 Ollama/OpenAI API集成:

  • 兼容OpenAI API。
  • 不仅支持Ollama模型,也支持LMStudio、GroqCloud、Mistral、OpenRouter等。(模型兼容OpenAI API即可)

✒️🔢 全面Markdown和LaTeX支持:通过全面的Markdown和LaTeX功能提升您的LLM体验,丰富互动。

🛠️ Model Builder:通过Web UI轻松创建Ollama模型。通过Open WebUI社区集成,轻松创建和添加自定义角色/代理、自定义聊天元素和导入模型。(它自己还搞了一个模型社区,类似HuggingFace)

📚 本地RAG集成:通过突破性的检索增强生成(RAG)支持,深入聊天交互的未来。此功能将文档交互无缝集成到您的聊天体验中。您可以直接将文档加载到聊天室中,或将文件添加到文档库中,在查询前使用#命令轻松访问它们。(RAG是核心功能)

🔍 RAG的网络搜索:使用SearXNG、Google PSE、Brave Search、serpstack和serper等提供商进行网络搜索,并将结果直接注入您的聊天体验。

🌐 网络浏览功能:使用#命令和URL将网站无缝集成到您的聊天体验中。此功能允许您将网络内容直接融入对话中,增强互动的丰富性和深度。(这个比较有特色,可以直接提供一个URL让它自己分析)

🎨 图像生成集成:使用AUTOMATIC111 API或ComfyUI(本地)和OpenAI的DALL-E(外部)等选项无缝集成图像生成功能,通过动态视觉内容丰富您的聊天体验。(锦上添花)

⚙️ 多模型对话:轻松地同时与各种模型互动,利用它们的独特优势做出最佳反应。通过并行利用一组不同的模型来增强您的体验。(比较有特色,在模型评测时更方便)

【用户体验特性】

🌐🌍 多语言支持:通过我们的国际化(i18n)支持,体验您喜欢的语言的开放式WebUI。目前支持了30+语言。

📱 响应式设计:在台式电脑、笔记本电脑和移动设备上享受无缝体验。(用大白话说就是BS架构,前端交互用浏览器,好吧,学了一个新词:响应式设计)

📱 Progressive Web App(PWA)for Mobile:使用我们的PWA,在的移动设备上享受本机应用程序般的体验,提供本地主机上的离线访问和无缝用户界面。(用web技术开发的移动APP,或者叫多端统一,对于一些交互简单的产品可以这么干,但复杂产品肯定还是Native App的体验更好)

【Open WebUI安装并使用】

推荐docker安装

  1. 若是使用本地llama模型,建议先启动模型ollama run llama3

  2. 确定一个本地文件夹,用户容器持久化数据,以防丢失

  3. 运行docker 镜像

    docker run -d -p 3000:8080 -e WEBUI_AUTH=False --add-host=host.docker.internal:host-gateway -v open-webui:你的本地文件夹 --name open-webui --restart always ghcr.io/open-webui/open-webui:main

-e WEBUI_AUTH=False 本地使用,不需要鉴权登录啥的

访问http://localhost:3000/

选择一个模型,使用本地ollama run llama3,Open WebUI会自动识别到本地启动的llama3模型。

Enjoy。

相关推荐
泯泷6 小时前
OpenClaw 退潮背后,是 AI 圈“技术自嗨”的终结
人工智能·chatgpt·llm
泯泷8 小时前
当"孤独的开发者"成为常态,AI正在悄悄杀死那个我们熟悉的互联网
人工智能·chatgpt·llm
2601_967987379 小时前
AI加速波:大模型应用开发主要做哪些工作?
rag·提示词工程·agent开发·ai大模型应用开发·服务封装
泯泷10 小时前
给你一个免费的20人 AI 团队,你的胜算真的变大了吗?
人工智能·llm
xyphf_和派孔明12 小时前
第十章: Agent Skill的调用机制解读
langchain·llm·agent
真上帝的左手16 小时前
26. AI-大语言模型-基础
人工智能·ai·架构·llm·大语言模型
东莞市云毅网络有限公司1 天前
用 Playwright 搭一套问答平台引用监测的最小骨架
python·数据清洗·rag·企业知识库·文档解析
小七-七牛开发者1 天前
PACE:代码通过率从 42% 到 97%, 让长程 Agent 在有限 KV Cache 下用好历史 Token
大模型·claude·token·工作流·长程agent
一条大祥脚2 天前
Agent Memory 全解析:从 SQLite、向量库 + RAG 到 Zep、Mem0
sqlite·agent·rag·智能体记忆
nice_lcj5202 天前
【从零理解 Spring AI · 13】RAG 要解决什么:把“闭卷考试“变成“开卷“
java·spring·检索增强·rag·spring ai·ai应用开发