Mac mini m4本地跑大模型(ollama + llama + ComfyUI + Stable Diffusion | flux)

安装chat大模型(不推荐,本地运行的大模型只能聊废话,不如网页版使用openAI等高效)

首先下载ollama的安装包

https://ollama.com/

点击启动访问:http://localhost:11434
Ollama is running

代表已经运行起来了!

安装大模型和配置模型路径(macOS配置ollama模型路径)

Mac机身内存寸土寸金,外置硬盘盒将大模型安装到里面也可以运行,下面是修改ollama模型路径的方法:

  • 官方说设置环境变量OLLAMA_MODELS就可以了,但是在macOS上我试了好像没什么作用,包括设置访问权限chmod等都没用。
  • 这里说我的解决方案:

创建符号链接的方案!

默认ollama会放到根目录:.ollama文件夹下,打开终端运行:cd ~/.ollama

  • 创建符号链接
bash 复制代码
ln -s /Volumes/pm981a/ollama_models ~/.ollama/models

pm981a是我的外置硬盘盒,将/Volumes/pm981a/ollama_models更改为你的路径即可
更改完之后重启ollama!

这时候打开默认的文件夹是这样的:(带个小箭头就是链接成功了)

然后运行命令下载模型文件:

bash 复制代码
ollama run llama3.2

你的外置硬盘盒里面就有模型了(如果你之前在默认文件夹下载好了,则把manifests,blobs两个文件夹拷贝到硬盘盒文件夹下就可以了)

下载好之后在终端命令窗口里面问它就可以对话了!

open webUI(可视化大模型对话界面)

macOS安装docker后运行下方命令就可以打开浏览器访问了

bash 复制代码
docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main

http://localhost:3000就可以看到页面了,设置密码后注意保存!

安装Stable Diffusion绘画大模型(推荐)

如果你想玩,这个是推荐的,可以随意的画画画!

ComfyUI + sb大模型

首先安装ComfyUI,去GitHub下载一个最新版本,用python跑起来就可以了,界面是工作流这种:
https://github.com/comfyanonymous/ComfyUI

具体安装步骤:

  • 从releases下载好,解压进入根目录

  • 创建python虚拟目录

    bash 复制代码
    python -m venv venv
    source venv/bin/activate
  • 执行安装pip install -r requirements.txt 项目中一般会有这个依赖文件

  • 启动:python main.py访问8188就可以了

安装flux大模型(其他sb都可以)

将下载好的模型文件存放到 ComfyUI/models/text_encoders/ 文件夹.

相关推荐
zdr尽职尽责44 分钟前
UnityCli 兼容2022版本
ui·unity·ai·c#·游戏引擎
Sharewinfo_BJ6 小时前
从“看数据”到“做决策”:AI时代,BI的下一个形态是什么?
ai·数据分析·bi·智信bi
codigger8 小时前
AI 三分钟写完的代码,你凭什么敢直接上线?
ai·程序员·编程·ai编程·#人工智能
wflynn1 天前
Google 观察到首个全自动化网络攻击,AI 框架已能独立完成漏洞利用
ai·技术
zdr尽职尽责1 天前
终端工具凭空消失:Codex + GPT-6 的一次完整排障复盘
数据库·gpt·学习·ai
佛系1891 天前
从服务端日志精确分离搜索抓取、监控探测与真实流量的实操清单
ai·大模型·seo·geo·结构化数据·indexnow
一起学安全技术1 天前
拆大模型 11|大模型面试拷问:12 问逐层拆
人工智能·ai·语言模型·面试·职场和发展·求职招聘
TomEval2 天前
【测AI】第26篇:线上模型监控与告警体系 — 测试不是终点
人工智能·python·功能测试·ai
AI算力2 天前
企业调研——工业边缘计算隐形黑马,腾视科技以“硬件+算法”加速出海落地!
人工智能·ai·边缘计算·ai算力·无人叉车·物理ai·ainas
真上帝的左手2 天前
26. AI-大语言模型-基础
人工智能·ai·架构·llm·大语言模型