【外】水星3号实测 1068 token 每秒靠谱吗

这周 X 上最吵的模型叫 Mercury 3,来自 Inception。说法是扩散大模型,并行出 token,标称 1068 token 每秒,比 GPT 和 Claude 极速版快好几倍。我把它从发布稿里拽出来,看哪些是真本事哪些是话术。我做 Agent 最烦多轮延迟叠加,所以重点看它能不能真省时间。
扩散大模型到底特别在哪

先说它和 GPT、Claude 最大的不同。我们平时用的这些模型,是一个字一个字吐的,第 N 个 token 必须等第 N-1 个出来才能算。Mercury 3 走的是扩散路线,先糊一个整段草稿,再并行把每个位置精修几轮,几个来回就收敛了。
这个差别在长输出和 Agent 场景里会被放大。一个浏览器 Agent 要走几十步,每步都要等模型回话,串行模型的延迟会一路叠上去。并行生成的卖点就是把这个叠加过程压短。
Inception 说 Mercury 3 比初代 Mercury 1 大了 40 倍,吞吐却没掉,这是整篇里最该被独立验证的一句话。
不过要分清,速度快不代表质量高。Inception 自己放出的对标里,Mercury 3 在 IFBench 指令遵循拿到 76.84,GPT-6 Luna 是 61.82,Claude Haiku 5.5 是 54.65。SWE-Bench Atlas 编码任务它 51.08,另外两家只有 33 左右。长上下文检索和长编码任务是它的短板,DeepSWE v1 上 Haiku 反而赢了。这些数字全是厂商自测,12 项里它赢 8 项,看看就好,别当结论。
怎么接进现有代码

接入门槛很低,因为它做成了 OpenAI 兼容。你不用改业务代码,只换 base_url 和模型名。
python
from openai import OpenAI
client = OpenAI(
base_url="https://api.inceptionlabs.ai/v1",
api_key="你的KEY",
)
resp = client.chat.completions.create(
model="mercury-3",
messages=[{"role": "user", "content": "用一句话解释扩散大模型"}],
stream=True,
)
for chunk in resp:
print(chunk.choices[0].delta.content or "", end="")
不想直接绑 Inception,也能走 OpenRouter、Baseten、Vercel,模型名是 inception/mercury-3。新账号在 Inception 能领 100M 免费 token,够你把这篇里的例子都跑一遍。
有个参数要留意,reasoning_effort,有四个档,instant、low、medium、high。扩散模型本来就在几轮里精修,把推理档调高,质量上去了但速度优势会缩水,这个要在你自己的任务上量。
我扒到的真实数据

发布稿里的 1068 token 每秒是 NVIDIA 上的标称值,我更信第三方跑出来的平均数。在 OpenRouter 上看它这几天的真实遥测,平均吞吐 251 token 每秒,P50 峰值能到 298。首字延迟 P50 约 1.0 秒,最好的情况 0.73 秒。
比速度更有意思的是稳定性。工具调用错误率 0.59%,结构化输出错误率 2.22%,缓存命中率 83.98%,三天可用性 99.59%。一个靠工具调用吃饭的 Agent,2.22% 的结构化输出出错率意味着每 45 次左右有一次要重试,做生产得把兜底写好。
再看投入量。OpenRouter 公开的那段时间里,打给它的 Prompt 有 6.87 亿 token,但 Completion 只有 603 万,Reasoning 占 2420 万。Completion 占比这么低,说明大家主要在用它做短平快的检索和工具判断,而不是写长文,这正好和扩散模型擅长短输出、弱在长生成的特性对得上。
我还看了谁在真的用它。OpenRouter 上它流量最大的几个应用里,Hermes Agent 这个开源自进化 Agent 跑了 47.7 亿 token,pi 是个人的 coding agent,Traycer 做代码审查。换句话说,现在真金白银在跑的,就是 Agent 和编码这类吃延迟的场景,和 Inception 自己的定位对得上。
我自己也试着调了一下。直接打 api.inceptionlabs.ai 的 /v1/models,裸请求返回 403,是 CloudFront 拦的,连门都没进。换成 OpenRouter 的 chat 接口,不带 key 直接 401,报错写明 Missing Authentication header。也就是说,没有 key 我没法真让它吐字,这篇里的速度和稳定性数字全部来自 OpenRouter 的公开遥测,不是我本地跑出来的。新用户的 100M 免费 token 要注册才能拿,这一步我替你记下了,省得你踩空。
它适合你吗
说句直话,三类人值得试。做搜索 Agent、浏览器 Agent、语音管线的,延迟每步都叠加,换它能明显感觉到快。做实时 tutoring、客服这种要秒回的,1M 上下文加低价也合适。已经有 OpenAI 兼容代码、想换模型压成本的,迁移几乎零成本。
两类人先别急。要完全私有化、自己部署权重的,它不开源,权重不公开,只能走 API,这条直接卡死。长文档里做精确检索、超长编码任务,它的短板还在,别指望它比 Claude 极速版稳。
还有哪些能选
不想绑 Inception,可以看 OpenAI 的 GPT-6 Luna 极速版、Anthropic 的 Claude Haiku 5.5,都是被它点名对比的对象,质量和生态更成熟,速度稍慢一点。要自己掌控、能本地跑的,去盯 Llama、Qwen 这些开源权重,代价是你要自己扛推理成本。
价格上 Inception 首发打五折,输入 0.10 美元、输出 0.35 美元每百万 token,折前是 0.20 和 0.70,缓存输入低到 0.01,比同档极速模型便宜一截。
如果只是想要免费额度先试水,Inception 的 100M 新用户 token 是最省钱的入口,用完再决定要不要长期切。
小结
扩散路线给 Mercury 3 在 Agent 和实时场景里压短了串行延迟,这块价值是实的,不是靠话术撑起来的。
OpenAI 兼容接入,换 base_url 就能跑,新用户 100M 免费 token 够试。
真实遥测里速度稳,但 2.22% 结构化输出出错率提醒你,生产环境必须写重试兜底。
不开源、不公开权重,要私有化部署的团队直接出局。
厂商基准看看就好,长上下文检索和长编码仍是短板,下判断前在你自己的任务上量一遍。
写在最后
下面三句转发配文,直接复制就能发
- Mercury 3 用扩散方式并行出 token,OpenRouter 实测平均 251 tok/s,做 Agent 延迟场景真能省时间。
- 接入零成本,OpenAI 兼容换 base_url 就跑,新用户送 1 亿免费 token。
- 但权重不开源、长编码仍是短板,2.22% 结构化出错率记得写重试。
一个争议问题想听你的
Agent 的极速推理应该由模型层解决,还是由工作流层去拼?我倾向工作流层,因为再快的单体模型也救不了工具调用和外部检索的等待,把并联和缓存做在编排侧更可控。你怎么看?
关注 A小码哥,回复「扩散大模型」拿这篇的接入代码和实测脚本。