mac下安装Ollama + Open WebUI + Llama3.1

本文介绍mac下安装Ollama + Open WebUI + Llama3.1 8b具体步骤。

目录

• • 推荐配置
  • [Ollama Open WebUI Llama3.1简介](#Ollama Open WebUI Llama3.1简介)
  • 安装Ollama
  • [安装Open WebUI](#安装Open WebUI)

推荐配置

m1以上芯片，16g内存，20g以上硬盘空间

Ollama Open WebUI Llama3.1简介

• Ollama: 下载，管理和本地调用大模型的软件，支持常见大语言模型如llama, qwen等，官网https://ollama.com/。支持的模型列表：https://ollama.com/search
  
• Llama3.1: meta开源的大模型: https://github.com/meta-llama/llama-models/tree/main。有8B, 70B and 405B三种规格。8b代表的是模型参数量和模型大小，即llama3.1模型拥有大约800亿(8 billion)个参数。
  参数越大(如: 70B, 405B...)，代表模型越大也越复杂，跑起来所需要的硬件成本也越高。因此，对于个人使用/测试，一般都首选8b
• openweb ui: 有丰富功能的可扩展本地AIweb界面，用户在openweb ui界面上输入问题，和模型交互，也可以自定义prompt，下载其他工具增强模型功能等。
  

安装Ollama

1. mac下载ollama: https://ollama.com/,下载下来是个zip包，里面就有app程序直接打开。
   2. 使用ollama下载运行llama3.1:8b到本地mac机器：ollama run llama3.1:8b

安装Open WebUI

1. 最好使用Python 3.11.9，pip对应版本也装好
2. pip安装Open WebUI: pip3.11 install open-webui
   
3. mac下起open-webui：/Library/Frameworks/Python.framework/Versions/3.11/bin/open-webui serve，会自动打印日志出来
   
4. ollama默认在11434起了端口，Open WebUI通过11434端口和Llama交互
   
5. 打开127.0.0.1:8080 openwebui页面，注册新账号，左上角选择llama3.18b模型并设为默认，开始提问
   6. 也可通过ollama直接和llama 3.1模型交互，提问获得回答