975B 的模型跑不动？现在有个 276B 总参、12B 激活的 MoE，8 张 B200 就能跑出 648 tok/s，还在多项基准上反超了自家大哥 ------ 这不是标题党，是 Thinking Machines 刚开源的 Inkling‑Small。
一句话背景
由前 OpenAI 核心成员组建的 Thinking Machines Lab，在发布旗舰模型 Inkling（975B）不到两周后，迅速推出第二款作品 ------Inkling‑Small。体量大幅收缩，多项能力却反超大版本。
规格速览
- 架构：MoE 混合专家解码器
- 总参数：276B
- 激活参数：12B
- 模态：原生多模态，支持文本、图像、音频输入
- 上下文窗口：256K / 1M tokens
对比初代 Inkling（975B 总参 / 41B 激活），Inkling‑Small 总参仅为前者的 1/4，激活参数压缩至 1/3。
基准实测：推理、编程全面反超
来自第三方评测机构 Artificial Analysis 的独立测试结果：
- Artificial Analysis 智能指数上二者几乎持平，Inkling‑Small 拿到 40，原版 Inkling 为 41。
- 在 Humanity's Last Exam、GPQA Diamond、SciCode、SWE‑Bench Verified、Terminal Bench 2.1 多项评测中，Inkling‑Small 全部实现反超。
尤其在智能体工具调用、代码修复、硬核推理这类任务上，小版本表现全面超越体量更大的原版模型。
短板：事实知识依然是硬门槛
知识能力上二者差距明显：AA‑Omniscience 知识指数 Inkling‑Small 为 -9，原版 Inkling 达到 +2；事实类任务准确率 31% 对比 40%。
核心结论：推理能力可以依靠蒸馏 + RL "练出来"，但海量背景知识，仍然需要足够参数量来承载。
效率优势：更少 Token，更低成本
Artificial Analysis 智能指数评测统计了各模型完成单任务的平均输出 token：
- Inkling‑Small 约 24K
- 原版 Inkling 约 25K
- DeepSeek V4 Flash 约 45K
- GPT‑5.4 mini (xhigh) 达到 78K
Inkling‑Small 输出更加精简，落到生产环境，直接带来更低延迟与推理成本。
技术解密：三步炼成 "小钢炮"
- 优化预训练配方：利用晚于大版本启动的时间差，调整预训练数据配比和训练超参，打下底座能力。
- On‑policy 在线策略蒸馏：以 Inkling 作为教师模型，执行在线策略蒸馏，产出预览版检查点，完成能力复刻。
- 两周智能体强化学习：基于蒸馏后的预览检查点，专门针对智能体编码任务，持续跑满两周 RL。
蒸馏只是打底，RL 才是实现能力反超的关键。
部署门槛：8 卡 B200 即可运行
- 硬件推荐 8×B200，采用 NVFP4 量化，推理框架选用 SGLang。
- 开启 DSpark 解码速度可达 648 tok/s，关闭 DSpark 为 288 tok/s。
LMSYS 给出评价：276B 总参 / 12B 激活，是 MoE 做强化学习的 "甜点位"，LoRA 微调与全参数微调都具备现实可行性。
谁该关注这款模型？
- 做 AI Agent 的开发者：SWE‑Bench 分数达到 80.2%，工具调用能力接近 GPT‑5.4 mini，输出 token 更少。
- 做垂直领域微调的团队：12B 激活参数，LoRA 微调可跑在单卡 A100/H100，不需要庞大集群。
- 跑高频推理业务的业务方：每 FLOP 产出优于原版 Inkling，长期可以降低 API 调用成本。
⚠️ 不适合场景：强依赖海量静态事实知识、要求高事实准确率的知识库问答场景。
如果你对 Inkling‑Small 的私有化部署或者 LoRA 微调感兴趣，可以关注 openstarry，我们会持续输出 MoE 模型落地的最佳实践。
下一步你可以做什么
- 如果团队有 8 卡 B200 或者等效算力，可以直接拉官方镜像做推理测试
- 计划做 LoRA 微调，官方文档已经提供示例脚本
- 欢迎在评论区分享你的实测结果，一起验证这一款 "小钢炮"
- 关注 openstarry，后续持续输出 MoE 系列模型的微调实战与部署踩坑记录