exo

使用 exo 技术构建 Mac mini AI 推理集群：从架构到实战随着大语言模型（LLM）规模的不断增长，单机推理已无法满足高性能需求。本文介绍如何使用 exo 分布式推理框架在 Mac mini 集群上部署 AI 推理服务。exo 利用 MLX 作为推理后端，通过 Thunderbolt 5 RDMA 实现超低延迟的设备间通信，支持张量并行（Tensor Parallelism）和流水线并行（Pipeline Parallelism），可在多台 Mac 设备上无缝运行超大规模模型。

EXO 可以将 Mac M4 和 Mac Air 连接起来，并通过 Ollama 运行 DeepSeek 模型EXO 可以将 Mac M4 和 Mac Air 连接起来，并通过 Ollama 运行 DeepSeek 模型。以下是具体实现方法：

MacOS Big Sur 11 新机安装brew wget python3.12 exoMacOS Big Sur 11,算是很老的系统了，所以装起来有点费劲。按照官网的方法，直接执行下面语句即可安装：

尝试在exo集群下使用deepseek模型：第一步，调通llamaexo是一个多机协同AI大模型集群软件，它可以将多种设备统一成一个强大的GPU，支持多种模型，并具有动态模型分区、自动设备发现等功能‌。

我是有底线的