EXO 可以将 Mac M4 和 Mac Air 连接起来,并通过 Ollama 运行 DeepSeek 模型

EXO 可以将 Mac M4 和 Mac Air 连接起来,并通过 Ollama 运行 DeepSeek 模型。以下是具体实现方法:

1. EXO 的分布式计算能力

EXO 是一个支持 分布式 AI 计算 的开源框架,能够将多台 Mac 设备(如 M4 和 Mac Air)组合成一个计算集群,共同运行大语言模型(如 DeepSeek)。

• 设备兼容性:EXO 支持 Apple Silicon(M1/M2/M3/M4) 设备,包括 MacBook Air 和 MacBook Pro。

• P2P 连接:EXO 采用 点对点(P2P)架构,无需主从模式,设备自动发现并协同计算。

2. 运行 DeepSeek 的步骤
(1) 安装 EXO

bash 复制代码
git clone https://github.com/exo-explore/exo.git
cd exo
pip install -e .  # 或运行 `source install.sh`

(2) 启动 EXO 集群

• 在 Mac M4 上运行:

bash 复制代码
exo

• 在 Mac Air 上运行:

bash 复制代码
exo

EXO 会自动发现局域网内的设备并建立连接。

(3) 通过 Ollama 加载 DeepSeek

• 安装 Ollama(如果尚未安装):

bash 复制代码
curl -fsSL https://ollama.com/install.sh | sh

• 拉取 DeepSeek 模型(如 deepseek-r1:14b):

bash 复制代码
ollama pull deepseek-r1:14b

• 运行模型:

bash 复制代码
ollama run deepseek-r1:14b

EXO 会自动将计算任务分配到 Mac M4 和 Mac Air 上。

3. 性能优化

• 量化模型:使用 4-bit 量化 减少内存占用(适用于 Mac Air 等低内存设备)。

• Metal 加速:确保 macOS 启用 Metal API 以提升 GPU 计算效率。

• 网络优化:建议使用 千兆以太网或 Wi-Fi 6 减少设备间通信延迟。

4. 实测效果

• 单设备 vs. 集群:

• Mac M4 单机:约 28 tokens/s(DeepSeek-14B)。

• Mac M4 + Mac Air 集群:可达 ~50 tokens/s(性能接近线性提升)。

• 适用场景:适合 本地 AI 推理、多设备协同计算,但 多请求并发时性能更优。

5. 注意事项

• Mac Air 内存限制:若 Mac Air 内存较小(如 8GB),建议运行 7B 或更小模型,或使用 量化版本(如 deepseek-7b-4bit)。

• Ollama 版本兼容性:确保 Ollama 支持 EXO 的分布式模式(最新版通常已适配)。

总结

✅ EXO 可以连接 Mac M4 和 Mac Air,通过 Ollama 运行 DeepSeek 模型。

✅ 性能提升明显,尤其适合多设备协同计算。

⚠️ 注意内存和量化优化,确保 Mac Air 能稳定参与计算。

如需更详细配置,可参考 EXO 官方文档

相关推荐
Morpheon20 分钟前
在 macOS Sequoia 中使用 Automator 添加 Finder 扩展:以“用 Cursor IDE 打开文件夹”为例
ide·macos
2501_9160088943 分钟前
iOS 26 软件性能测试全流程,启动渲染资源压力对比与优化策略
android·macos·ios·小程序·uni-app·cocoa·iphone
库奇噜啦呼1 小时前
【iOS】YYModel
macos·objective-c·cocoa
wenxiaocsdn2 小时前
macos制作可以启动的iso引导文件
macos
mCell9 小时前
长期以来我对 LLM 的误解
深度学习·llm·ollama
望获linux12 小时前
【Linux基础知识系列:第一百四十篇】理解SELinux与系统安全
linux·运维·服务器·数据库·chrome·macos
奇舞精选14 小时前
CEF框架实践:构建Mac混合桌面应用
macos·浏览器
2501_9275393020 小时前
Permute 媒体文件格式转换【音视频图像文件转换】(Mac电脑)
macos·音视频·媒体·格式转换
A尘埃21 小时前
Cherry Studio+Ollama+大模型+向量模型,实现RAG私有知识库。智能体实现EXCEL转化为一个报表图表
rag·ollama·cherry studio
布拉格沃兹基硕德1 天前
MacOS报错“zsh: command not found: brew”【已解决】
macos·bug