低延迟推理

AI你一生一世

一年前，我用 RL 造了一批非自回归决策模型我是AI时代的无业游民，我游荡在现实与意念之间一年前我在做一个实时竞价场景的决策系统。核心需求是：在 20ms 内，对每一次请求给出一个多维动作——出价、预算分配、投放时段选择。最初团队用的是自回归（autoregressive）序列生成：把动作拆成 token 序列，逐个解码。听起来很优雅，但上线后问题暴露得很彻底。

Mercury 2.5 发布：当扩散大模型跑到 1,107 tokens/sec —— dLLM 的延迟经济学与 Java/Python 落地实战2026 年 9 月 8 日（UTC），Inception Labs 正式发布 Mercury 2.5。根据官方博客，这是目前市场上能力最强的扩散式大语言模型（diffusion LLM，简称 dLLM），也是官方声称"有史以来训练过的最大扩散语言模型"。三个数字构成了这次发布的核心叙事：1,107 tokens/sec 的生成速度、260K 的上下文窗口、以及发布期 $0.04/百万输入 token 的促销价格。消息当天登上 Hacker News 热榜，并同步上架 OpenRouter（模型 ID：i

我是有底线的