Mac mini m4本地跑大模型（ollama + llama + ComfyUI + Stable Diffusion ｜ flux)

安装chat大模型（不推荐，本地运行的大模型只能聊废话，不如网页版使用openAI等高效）

首先下载ollama的安装包

https://ollama.com/

点击启动访问：http://localhost:11434
Ollama is running

代表已经运行起来了！

安装大模型和配置模型路径（macOS配置ollama模型路径）

Mac机身内存寸土寸金，外置硬盘盒将大模型安装到里面也可以运行，下面是修改ollama模型路径的方法：

• 官方说设置环境变量OLLAMA_MODELS就可以了，但是在macOS上我试了好像没什么作用，包括设置访问权限chmod等都没用。
• 这里说我的解决方案：

创建符号链接的方案！

默认ollama会放到根目录：.ollama文件夹下，打开终端运行：cd ～/.ollama

• 创建符号链接

ln -s /Volumes/pm981a/ollama_models ~/.ollama/models

pm981a是我的外置硬盘盒，将/Volumes/pm981a/ollama_models更改为你的路径即可
更改完之后重启ollama!

这时候打开默认的文件夹是这样的：(带个小箭头就是链接成功了）

然后运行命令下载模型文件：

ollama run llama3.2

你的外置硬盘盒里面就有模型了（如果你之前在默认文件夹下载好了，则把manifests,blobs两个文件夹拷贝到硬盘盒文件夹下就可以了）

下载好之后在终端命令窗口里面问它就可以对话了！

open webUI（可视化大模型对话界面）

macOS安装docker后运行下方命令就可以打开浏览器访问了

docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main

http://localhost:3000就可以看到页面了，设置密码后注意保存！

安装Stable Diffusion绘画大模型（推荐）

如果你想玩，这个是推荐的，可以随意的画画画！

ComfyUI + sb大模型

首先安装ComfyUI，去GitHub下载一个最新版本，用python跑起来就可以了，界面是工作流这种：
https://github.com/comfyanonymous/ComfyUI

具体安装步骤：

• 从releases下载好，解压进入根目录

• 创建python虚拟目录

  python -m venv venv
  source venv/bin/activate

• 执行安装pip install -r requirements.txt 项目中一般会有这个依赖文件

• 启动：python main.py访问8188就可以了

安装flux大模型（其他sb都可以）

• 这是一个ComfyUI的操作手册
• 这是一个AI资源的网站：huggingface.co

将下载好的模型文件存放到 ComfyUI/models/text_encoders/ 文件夹.