在两台 Mac Studio 上跑 800B 模型：MLX + RDMA over Thunderbolt 实测与四道门选型法

一、背景：规模线抬升意味着什么

2026 年 10 月 15 日，Meta 发布开放权重模型 Muse Spark Open：总参数 816B、每 token 激活 42B、1M token 上下文、原生多模态（文本/图像/音频/视频），主打编码与长程智能体任务。同步上线 Baseten、Fireworks AI、Groq、Modal、Nebius、OpenRouter、Together AI 等 API 平台；权重在 Hugging Face 以 Muse Model License 开放下载。

同日，Apple 机器学习团队演示了用 MLX v0.30.1 配合 macOS 26.2 的 RDMA over Thunderbolt 驱动，在两台 Apple M5 Ultra Mac Studio 上本地运行该模型。

过去三年，开源大模型在两个维度上一直错位------能开源的跑不动、跑得动的能力不够。10 月 15 日之前，能本地部署的开源模型普遍在 70B 量级，能干的活基本停留在摘要、简单分类。这一天，800B 级、42B 激活的模型第一次能本地跑。

二、关键挑战：评估数据缺失与硬件依赖

2.1 已知的性能信号

Artificial Analysis 给出的 Intelligence Index 得分 39 分 ，为美国开放权重模型第一。但据 The Decoder 报道，该模型性能低于 Meta 此前发布且保持闭源的 Muse Wonder。

2.2 已知的局限

python 复制代码

# MLX 在 Mac Studio 上的本地运行依赖三项硬件条件
required_stack = {
    "model": "Muse Spark Open (816B/42B MoE)",
    "framework": "MLX >= 0.30.1",
    "os": "macOS 26.2+",
    "interconnect": "RDMA over Thunderbolt",
    "hardware": "2 × Apple M5 Ultra Mac Studio",
    "license": "Muse Model License",
    "verification": "vendor_demo_only",   # 截至 2026-10-16 未见独立复测
}

2.3 评估数据缺口

维度	已知	未知
总参数	816B	---
激活参数/token	42B	---
上下文窗口	1M token	---
Intelligence Index	39	---
两台 M5 Ultra 上首 token 延迟	未公开	---
两台 M5 Ultra 上稳态吞吐	未公开	---
量化精度（INT4/INT8/FP8）选型	未公开	---

三、方案：四道门选型法

企业是否值得自建 800B 底座，不靠直觉，靠四道门全过不过：

python 复制代码

def select_private_deployment(
    has_data_residency: bool,
    has_token_volume: bool,
    has_ops_staff: bool,
    accepts_18mo_deprecation: bool,
) -> str:
    """四道门全过才进圈；过 1-2 门=有需求但条件不齐；过 0 门=今天不需要"""
    checks = [has_data_residency, has_token_volume,
              has_ops_staff, accepts_18mo_deprecation]
    passed = sum(checks)
    if passed == 4:
        return "IN: 进圈，建议自建"
    if passed >= 1:
        return f"WAIT: 过 {passed} 门，先补条件不要先买机器"
    return "OUT: 今天不需要考虑自建"

四道门逐条展开：

门① 数据居留：有没有一类数据连脱敏后都不愿离开你的网络（客户名单、报价体系、未公开的财务口径）。
门② 调用量：日均 token 消耗有没有越过自持比租用更省的线------查过去 90 天 API 调用日志。
门③ 运维人力：手上有没有人承担量化、显存调优、服务编排、模型升级。本地底座不是家电，外包等于把想收回的控制权又交出去一次。
门④ 硬件贬值：能接受机器在 18 个月内被淘汰且不指望回本。

四、实测数据：演示 vs. 待补

下面是 Apple 机器学习团队演示过的能力，截至本文发布未见独立复测：

text 复制代码

能力维度                  演示结果                独立复测
─────────────────────────────────────────────────────
模型加载（两台 M5 Ultra）   厂商演示成功             未见
稳态吞吐（tokens/s）        未公开                  未见
首 token 延迟（ms）         未公开                  未见
量化方案（INT4/INT8/FP8）   未公开                  未见
RDMA over Thunderbolt 加速  厂商演示成功             未见

五、踩坑清单

Muse Model License 二次分发条款：年收入超 2000 万美元且对外以 API 形式提供该模型的供应商，需与 Meta 另签协议------做垂直行业模型对外提供服务的团队会直接撞上这一条。
量化版本选择：两台 M5 Ultra 的统一内存是否能稳定支持 816B/42B 的全部量化路径，截至本文发布厂商未给出量化调整建议，本文不作为结论。
本地≠离线：本地部署解决"数据居留"，不解决访问控制、权限隔离、日志审计、模型输出合规。受监管行业需另行取得合规口径。
幻觉式"公私分离"：把对外内容一并关进内网，会导致在公开 AI 世界里被遗忘。

六、适合 / 不适合

适合：

有数据居留硬约束、有真实调用量、手上恰好有人的中型企业。
第一刀场景选容错高的：合同与档案归档摘要、内部资料检索问答、历史工单归类分析。

不适合：

日均 API 消费低于每月数百元的团队------固定成本摊不下来。
没有任何数据居留或合规约束的团队。
手上没有运维人力的团队。
想三年回本的团队。
受监管行业尚未获得合规口径确认的团队。
云厂商专属实例已经满足数据居留要求的团队。

七、参考

AI HOT 收录：Muse Spark Open 发布事件（来源数 26、报道 32 条，2026 年 10 月 15 日首次报道）。
Artificial Analysis：Intelligence Index 评分。
The Decoder：性能对比 Muse Wonder。
IT之家：Meta 首席 AI 官汪滔公开表态（2026 年 10 月 16 日）。

发布于：2026 年 10 月 16 日 | 来源：公开技术演示与第三方评测数据整理