认识 Ollama 本地模型框架,并简单了解它的优势和不足,以及推荐了 5 款开源免费的 Ollama WebUI 客户端,以提高使用体验。
什么是 Ollama?
Ollama 是一款强大的本地运行大型语言模型(LLM)的框架,它允许用户在自己的设备上直接运行各种大型语言模型,包括 Llama 2、Mistral、Dolphin Phi 等多种模型,无需依赖网络连接。此外,Ollama 还提供跨平台的支持,包括 macOS、Windows、Linux 以及 Docker, 几乎覆盖了所有主流操作系统。详细信息请访问 Ollama 官方开源社区
Ollama 的使用
你可访问 Ollama 官方网站 下载 Ollama 运行框架,并利用命令行启动本地模型。以下以运行 llama2 模型为例:
arduino
ollama run llama2
基于您的计算机配置,各种模型可能呈现出不同的性能特征。
Ollama 的优势
Ollama 的模型运行在本地,以及用户产生的所有数据均存储在本地,因此可以不受审查,并且足够安全和私密,能够有效地满足数据隐私保护的需求。此外,对于在本地运行的应用程序而言,这种方式不仅可以提高效率,而且还能够消除对网络环境的依赖。
Ollama 的不足
尽管 Ollama 能够在本地部署模型服务,以供其他程序调用,但其原生的对话界面是在命令行中进行的,用户无法方便与 AI 模型进行交互,因此,通常推荐利用第三方的 WebUI 应用来使用 Ollama, 以获得更好的体验。
五款开源 Ollama GUI 客户端推荐
1. LobeChat
LobeChat 作为一款开源的 LLMs WebUI 框架,支持全球主流的大型语言模型,并提供精美的用户界面及卓越的用户体验。该框架支持通过本地 Docker 运行,亦可在 Vercel、Zeabur 等多个平台上进行部署。用户可通过配置本地 Ollama 接口地址,轻松实现 Ollama 以及其他本地模型的集成。查看 在 LobeChat 中如何使用 Ollama
推荐理由
- 除 Ollama 所有本地模型外,LobeChat 还支持几乎所有主流的大语言模型,包括 ChatGPT、Google Gemini、Claude、Groq 等;
- 支持多模态 AI 能力;
- 提供了一个多样的 AI 助手市场,可以方便访问社区提供的各种 Prompt;
- 拥有独特的智能会话管理功能,轻松管理对话;
- 具备丰富的插件生态系统,能够利用 Function Call 实现诸如访问互联网等更多能力;
2. Open WebUI
Open WebUI 是一个可扩展、功能丰富且用户友好的开源自托管 AI 界面,旨在完全离线运行。它支持各种 LLM 运行器,包括 Ollama 和 OpenAI 兼容的 API。
推荐理由
- 对本地模型均有很好的支持;
- 支持通过 RLHF 注释来对消息进行评级,以达到对本地模型微调的作用;
- 支持对话标记,轻松分类和定位特定聊天;
- 支持直接通过界面下载或删除模型;
- 可以通过
@
来指定不同的模型进行会话;
3. Enchanted
Enchanted 是一款专门为 MacOS/iOS/iPadOS 平台开发的应用程序,支持 Llama、Mistral、Vicuna、Starling 等多种私人托管模型。该应用致力于在苹果的全生态系统中为用户提供一个未经过滤、安全、保护隐私以及多模态的人工智能体验。
推荐理由
- Apple 生态原生应用,支持 iOS 生态系统(macOS、iOS、Watch、Vision Pro)的所有设备;
- 界面简洁直观,开箱即用,Mac 粉丝的喜爱;
- 基于原生系统开发的应用程序,在性能方面有非常出色的表现;
4. Chatbox
Chatbox 是一个老牌的跨平台开源客户端应用,基于 Tauri 开发,简洁易用。除了 Ollama 以外他还能够通过 API 提供另外几种流行大模型的支持。
推荐理由
- 跨平台的客户端应用,支持 Windows/MacOS/Linux/iOS/Android;
- 除了 Ollama 外还支持多种大语言模型;
- 本地应用无需部署,开箱即用
5. NextJS Ollama LLM UI
NextJS Ollama LLM UI 是一款专为 Ollama 设计的极简主义用户界面。虽然关于本地部署的文档较为有限,但总体上安装过程并不复杂。该界面设计简洁美观,非常适合追求简约风格的用户。
推荐理由
- 基于浏览器的全平台支持;
- 本地模型的核心功能均能较好支持;
- 界面美观,干净整洁,没有太多复杂的 UI,对于喜欢极简的用户来说是一种享受;
如果您对此感兴趣,请来这里加入我们的愿望单单。⛳️ 点击这里 👉 lobehub.com
Originally published at https://lobehub.com/blog on Sunday, April 14 2024.