本周 AI 观察：算力、路由、账本——护城河正搬出模型层

署名：专注 AI 工程化实践与出海外贸技术

先说一个观察：这周我把几件大事放在一起看，发现它们几乎不聊「谁的模型更聪明」了。微软在聊每瓦电力能出多少 token，NVIDIA 在聊怎么把你家几台电脑的显卡凑成一个推理集群，开源阵营在聊 API 涨价四倍客户也没跑。跑分趋同之后，各家把护城河修到了模型外面。这篇把四件事拆开讲，最后说说这对选代码的人意味着什么。

一、本周四件事

事件一：微软 Maia 300 ------ 北极星指标从「每秒」换成了「每瓦」

10 月 12 日，微软在圣何塞 OCP 全球峰会上发布第三代自研 AI 加速器 Azure Maia 300（来源：Microsoft 官方博客，云与 AI 执行副总裁 Scott Guthrie 署名）。要点：2027 年开始生产部署，并逐步扩展到数吉瓦级，让 Maia 成为微软自家产品的主要推理系统。

规格上有几个数字值得记：单卡 288GB HBM4、峰值带宽 18TB/s、950W 功耗，计算芯粒走台积电 N2P 制程的多芯粒设计；整机柜 96 颗，微软称其机柜级 token 吞吐最高可达上一代 Maia 200 的 7 倍；官方目标是对领先的 GPU 系统做到「每兆瓦 token 数高 40%」。扩展侧通过以太网组网，单个 scale-up 域最大可到 12,288 卡（来源：unite.ai、澎湃新闻对官方口径的转述）。

我的判断在下一篇细讲（见第二节），这里先记一个容易被略过的信号：微软没有公布任何独立基准，部署也要等到 2027， Evercore ISI 的分析师预计到 2027 年第一季度 Maia 也只占微软 AI 芯片支出的约 10%（来源：头条转述 Evercore 报告）。另外 Maia 不对外出租------这和谷歌 TPU、亚马逊 Trainium 走的是两条路。换句话说，它不是产品，是自用基础设施。

事件二：NVIDIA Nemotron 3.5 Bolt + PAIR ------ 把推理修进你家书房

英伟达这周的动作方向相反：数据中心往下走，走进 24GB 显存。10 月 15 日开放的 Nemotron 3.5 Bolt 74B 是一个 74B 总参、9B 激活的 MoE 模型，用 2-bit 量化感知训练压进 24GB，专为 10 月 16 日开售的 RTX Spark 笔记本本地跑 Agent 设计（来源：NVIDIA 官方博客）。训练数据、权重、训练配方全部开放，llama.cpp、vLLM、Ollama、Unsloth、LM Studio 发布当天全部可用。

配套的两个软件更值得看：PAIR（个人 AI 路由器）同日正式版发布------自动发现局域网里的电脑、装模型、把 AI 任务摊到几台机器上跑；Switchyard 则是一个开源模型路由库，让 Agent 把简单问题发给本地免费模型、难题发给云端付费模型（来源：NVIDIA 官方博客）。

冷水也要泼。第三方评测机构 Artificial Analysis 给 Bolt 的智能指数是 21 分，在同类 67 个模型里排第四------不是第一；按 OrcaRouter 对官方表格的拆解，Bolt 的吞吐 83.99 token/s 反而输给同表的 Qwen3.6 35B-A3B（96.63）和 Gemma 4 26B-A4B（100.56），它赢的是「跑完同一条 Agent 轨迹的总时间」（600.8 秒最快）；知识准确性基准 AA-Omniscience 上 16.90 分落后于 Gemma 4 的 22.17。而且官方对比表里的「同级」是按「24GB 显存塞得下」这个约束圈出来的（来源：orcarouter.ai 技术拆解）。许可证是 OpenMDW-1.1，商用前建议让法务看一眼。

事件三：阶跃 Step 5 权重兑现 ------ 开源时间表开始被当承诺执行

9 月 20 日发布 Step 5 Preview 时，阶跃星辰预告 10 月 15 日开源权重。10 月 15 日当天，BF16 与 FP8 权重、技术报告、开发工具和部署指南全部上线 Hugging Face 和 ModelScope（来源：阶跃官方新闻页、上海证券报、上观新闻）。600B 总参、27B 激活、百万 token 上下文、原生图文输入的配置没变；技术报告里值得看的是「把上下文压缩纳入端到端策略训练」------让 Agent 自己学会整理任务状态再继续跑，这是冲着长程 Agent 任务去的。另据 OpenRouter 截至 10 月 15 日的数据，Step 5 Preview 位列该平台 token 用量周榜和日榜全球第二。

单独看这是一次常规兑现。但放进时间线看：厂商发布时写下的开源日期，真的被执行了。这在今年上半年还不多见------那时候更多是「即将开源」四个字挂三个月。

事件四：DeepSeek 的 API 账本 ------ 开源权重也能收租

据 The Information 与路透报道，DeepSeek 年化收入运行率已突破 10 亿美元，数月前还不足 5 亿；增长主要来自 API------上个月模型调价 2.3 到 4.5 倍后，CEO 梁文锋在投资者会议上称客户没有流失；2026 年前七个月 API 毛利率 82.9%。算力分配上，70% 以上给训练、推理不足 30%，轻量模型内部测试可在游戏显卡上稳定运行（来源：The Information 经经济通、路透经多家科技媒体转述）。新一轮融资推进中，此处不展开。

这个账本的技术含义比商业含义更重：免费放出的权重和收费的 API 并行，权重本身成了最好的获客和信任凭证，收入从 API 走。开源不再是烧钱姿态，而是一种有账本支撑的商业模式。

二、横向串联：护城河为什么搬家

把这四件事和本周另外两件已经写过的事放在一起，规律就很明显了------

阵营	本周动作	护城河修在哪	代价与坑（如实）
微软	Maia 300 发布，2027 数吉瓦部署	自家算力（每瓦 token）	全自报数字，2027 才落地，Evercore 估初期仅占支出 10%；不对外出租
NVIDIA	Bolt 24GB + PAIR + Switchyard	部署形态（端侧+家庭路由）	「同级第一」的同级是自定义的；吞吐输给更小模型；新许可证待法务
Meta	Wonder Full 锁订阅不开 API	分发（自家 Agent 面）	最强模型不可迁移，生态绑定加深
Anthropic	自研源代码管理 Scion	工程工具链（日均 3 万次合并）	不可复制------它解决的是「Agent 当主要贡献者」这个前提
开源阵营	Step 5 权重兑现 + DeepSeek API 账本	商业模型（权重获客、API 收租）	涨价不流失的样本只有一家，客户集中度未披露

模型层的现实是：旗舰跑分咬得越来越紧，价格战把每百万 token 的单价压到几乎失去区分度。当「聪明」本身不再是差异化变量，可防御的东西就只剩模型外面那几层------芯片路线、部署形态、工具链、分发渠道、商业契约。这不是谁放弃了模型竞赛，而是竞赛的记分牌换了。

这个变化其实有迹可循。上周写 Claude Haiku 5.5 时提到，计价表长出了「提示词长度」这第二根轴------成本核算单位从每 token 细化到每任务；微软这周干脆把记分牌换成了每瓦。我在十月二日的周度观察里写过「分层」：访问、价格、任务形态、硬件生态各自分层。这周可以再加一层：商业模型也在分层------闭源锁生态、开源收 API 租金、端侧免费换生态位，三条路并存，而且都有人走通了第一步。

三、对开发者的启示

第一，选型的第一张表该换了。 跑分榜回答的是「它能不能做」，回答不了「绑不绑手」。现在动手选型前，建议先列迁移成本清单：许可证限制什么、有没有可替代的 API 端点、权重可不可下载、模型别名会不会漂移。跑分只该是这张表里的一行。

第二，端云分流从极客玩法变成了产品能力。 Switchyard 和 PAIR 把「简单题本地跑、难题上云」做成了现成的基础设施，这意味着混合路由很快会是 Agent 应用的默认形态，而不是加分项。下面是一个最小可用的分流决策骨架，思路可以直接搬走：

# 端云分流决策骨架：难度分流 + 双边成本核算
# 端点统一示意，实际替换为你自己的服务地址
LOCAL_ENDPOINT = "https://api.example.com/local/v1/chat"
CLOUD_ENDPOINT = "https://api.example.com/cloud/v1/chat"

HARD_KEYWORDS = ("multi-step", "代码审查", "长文写作", "数据分析")

def route(task: str, local_gpu_free_gb: float) -> dict:
    """返回 (endpoint, reason)。规则仅为骨架，生产环境请加灰度与回退。"""
    is_hard = any(k in task for k in HARD_KEYWORDS)
    local_ok = local_gpu_free_gb >= 20  # 24GB 级模型需预留余量

    if is_hard or not local_ok:
        # 难题或本地资源不足 -> 云端；记录成本以便月度复盘
        return {"endpoint": CLOUD_ENDPOINT, "reason": "hard_or_no_gpu"}

    # 简单任务走本地：边际成本趋近于零，失败自动降级云端
    return {"endpoint": LOCAL_ENDPOINT, "reason": "cheap_and_capable"}

# 关键纪律：两边都要记 token 与耗时，月底才知道分流省没省钱

第三，算账的单位会继续细化。 每美元 token、每任务成本、每瓦 token、每 solved-call 成本------单位换得越快，越说明单纯的单价对比失效了。给团队做预算时，选定一个和自己业务形状匹配的单位，然后盯住它，别被厂商发布稿里的单位带着走。

四、FAQ

Q1：Maia 300 对我有什么影响？

短期没有。它 2027 年才部署、不对对外出租，只影响微软自家服务的成本结构。值得关注的间接影响：如果每瓦 token 提升 40% 兑现，微软系产品（Copilot 等）的推理成本会下降，价格战可能再添一把柴。

Q2：2-bit 量化的 74B 模型真能干活吗？

分任务看。官方与第三方数据都显示它在 Agent 轨迹完成速度上有优势，适合迭代频繁的本地工作流；但知识准确性基准落后同显存档位的 Gemma 4，吞吐也不占优。另外 OpenMDW-1.1 不是你熟悉的 Apache/MIT，商用前过一遍法务。

Q3：DeepSeek 涨价没掉客户，开源厂商都可以跟着涨吗？

先别。样本只有一家，「客户没有流失」是 CEO 在投资者会议上的口径，客户集中度、续约结构都未披露。82.9% 的毛利率口径和美元大厂报的数字也不完全可比。它证明的是「开源+API」这条路能走通，不是涨价安全。

附：端云分流接入检查表（可直接拿走）

1. 列出全部任务的难度分级标准（关键词/长度/工具调用数），先跑两周只记不分
2. 本地模型显存预留 ≥ 模型占用 + 20%，给 KV cache 留余量
3. 每个任务都记双边账：token、耗时、失败次数，缺一边账的分流等于没分
4. 云端调用必须设月度预算熔断，本地不设限（这正是分流的意义）
5. 路由规则走配置文件，不要写死在代码里------换模型时只改配置
6. 本地失败自动降级云端，降级动作要有日志，防止静默全走云端
7. 检查两端点返回格式一致性，客户端不做双版本适配
8. 许可证核对：本地模型许可证（如 OpenMDW-1.1 等新许可证）商用条款过一遍法务
9. 模型别名固定 pinned ID，防止服务端静默换模型
10. 每月复盘一次分流比例：若云端占比持续超 60%，说明难度标准定松了

---

上周我在《本周 AI 观察：旗舰撤回、中杯顶上、小模型拍板》里讲的是「分层」，今天这篇算是它的续集------分完层之后，护城河开始沿着层搬家：https://blog.csdn.net/qq_43274490/article/details/166994479

端侧这条线之前写 16.9MB 的语音识别 Whistle 时埋过一个伏笔：运行时复用比模型本身值钱，Bolt 和 PAIR 是同一个判断在 LLM 上的续篇：https://blog.csdn.net/qq_43274490/article/details/167397053

Scion 那篇里 Anthropic 把工具链当护城河的逻辑，和微软把芯片当护城河是同构的，两篇对照着看更清楚：https://blog.csdn.net/qq_43274490/article/details/167920319

Meta 把最强模型锁进订阅的信号，我在《Meta 发布 Muse Wonder》里写过「分发即护城河」，和今天的账本线正好是镜像的两面：https://blog.csdn.net/qq_43274490/article/details/167812505

DeepSeek 的 token 账本让我想起一个月前那篇《一个月写码烧了 20 亿 token》------成本治理这件事，厂商和用户两边都在补课：https://blog.csdn.net/qq_43274490/article/details/167084646

Haiku 5.5 那篇提出的「计价的形状比单价重要」，本周在 Maia 300 的每瓦指标上又一次应验：https://blog.csdn.net/qq_43274490/article/details/167282390

这个专栏每天一篇 AI 解读，周五出深度观察，关注不迷路。

你们团队的推理负载，现在是全量上云，还是已经做了端云分流？评论区聊一句。

---

专注 AI 工程化实践与出海外贸技术