摘要
我们介绍了 Qwen3.8-Flash-Next 的架构及其消融实验。这是一个稀疏混合专家（MoE）模型，拥有 1250 亿（125B）总参数，每个 token 激活 60 亿（6B）参数，并额外包含 510 亿（51B）参数的 n-gram 嵌入表，这些表被卸载到加速器（accelerator）之外。在 14 个预训练基准测试中，该模型在 8 个测试中领先于其 397B-A17B 的前代模型，在其余测试中落后幅度不超过 2.6 个百分点，而其激活参数量仅为前代的 1/31/31/3，训练 token 数为 1/31/31/3，训练 FLOPs 约为 1/91/91/9。Token 混合机制采用了门控 DeltaNet（GDN）与全局注意力的逐层混合架构，每四层中包含一个全注意力层；在持续预训练阶段，这些全注意力层会被替换为 Qwen 稀疏注意力（QSA），它通过压缩的轻量级索引器以微块（micro-block）粒度对上下文进行评分。残差流被拓宽为四个分支，并通过逐元素门控进行读取，我们将这种设计称为门控残差（Gated Residual, GR）。通过在主干网络之外添加单个 n-gram 嵌入层（其表从主机内存预取），进一步增加了模型容量。
我们从三个维度评估每一项候选更改：损失（loss）与下游基准测试的表现；更改在训练、预填充（prefill）和解码（decode）阶段的成本；以及其对最优超参数和训练稳定性的影响。损失和下游准确率并不总是同步变化：扩大 n-gram 词汇表会单调地降低损失，但下游准确率会达到饱和。该架构与 Muon 优化器共同将最优学习率和批次大小（batch size）向上推移，使得批次大小预热（warmup）变得不再必要，并在压力测试下显著提升了稳定性。损失、基准测试、效率和稳定性构成了一个统一的设计问题。联合解决这些问题，我们得出了一套同时更高效、更强大且更稳定的训练方案。
1 引言
Qwen3.8-Flash-Next 是一个稀疏混合专家模型，总参数量为 1250 亿（125B），每个 token 激活 60 亿（6B）参数，并额外包含 510 亿（51B）参数的 n-gram 嵌入表，这些表被卸载到加速器之外。其设计目标是在仅消耗一小部分计算预算的情况下，保持上一代 397B-A17B 旗舰模型（Qwen Team, 2026）的质量。在涵盖知识、STEM、推理、编程和多语言能力的 14 个预训练基准测试中，该基础模型在 8 个测试中领先于前代模型，在其余 6 个测试中落后幅度最多仅为 2.6 个百分点（表 11），同时每个 token 激活的参数量约为前代的三分之一，训练 token 数约为三分之一，训练 FLOPs 约为九分之一。
架构的更改会同时影响三个方面：模型在下游任务上的能力、训练和部署的成本，以及训练过程在大规模下是否能保持最优和稳定。因此，我们从三个维度评估每一项候选更改：损失与下游基准测试的表现；更改在训练、预填充和解码阶段的成本；以及其对最优超参数和训练稳定性的影响。损失、基准测试、效率和稳定性构成了一个统一的设计问题，我们将分别报告它们的表现。在本报告中，我们着重指出这三个维度出现分歧的地方，以及这些分歧所导向的设计选择。
四个架构组件承载了这一设计，每个组件都针对一个特定的瓶颈：
- Token 混合机制采用了门控 DeltaNet（GDN）（Yang 等，2024）与全局注意力的逐层混合架构：循环层以线性成本将前缀压缩为固定大小的状态，而每四层中的一个全注意力层则保留了直接的 token 级检索能力，这是任何有限状态记忆都无法精确重现的（§2.1.1）。在持续预训练阶段，这些全注意力层会被替换为 Qwen 稀疏注意力（QSA），它遵循 Liu 等（2025a）的稀疏注意力路线，但通过压缩的轻量级索引器以微块粒度对上下文进行评分，从而使索引本身的成本随序列长度的增加而降低。
- 残差流被拓宽为四个分支（Baykal 等，2023；Zhu 等，2024），并通过逐元素门控进行读取，我们将这种设计称为门控残差（Gated Residual, GR）（§2.2）：拓宽增加了残差路径的容量，门控决定了如何分配这种容量，同时还提供了保持训练稳定的重新缩放（rescaling）机制。
- 通过在主干网络之外添加单个 n-gram 嵌入层（Google DeepMind, 2025；Cheng 等，2026），其表从主机内存预取（§2.3），进一步增加了模型容量，在几乎不增加每个 token 的 FLOPs 和延迟的情况下扩展了参数量。
评估。损失和下游准确率并不总是同步变化，我们观察到两个方向上的分歧。扩大 n-gram 词汇表会单调地降低损失，但下游准确率会达到饱和；在固定的参数预算下，损失的最优解与准确率的最优解会发生偏离（表 9，表 8）。相反，从残差状态预测残差的读取和写入权重，仅能带来微小的损失降低，但却能带来明显的基准测试收益（§2.2）。其他分歧在后期显现：将每个块限制为两个最高门控的残差分支，在预训练损失上几乎没有代价，但在进一步训练后性能会下降（§2.2）；从全注意力层中移除位置编码在预训练期间难以察觉，但会影响后期的生成质量（§2.1.1）。在随后的章节中，当损失和基准测试表现一致时，为简洁起见，我们仅报告损失。
效率 。我们分别评估训练、预填充和解码阶段的成本。在训练中，FlashQLA 在 GPU 上相比 Triton 基线实现了 2--3×2\text{--}3\times2--3× 的前向加速和约 2×2\times2× 的反向加速（§2.1.1）。Muon 引入了其自身的工程成本：其每个参数的 FLOPs 取决于矩阵形状而非参数数量，因此数据并行梯度缓冲区会根据估计的正交化成本进行重新划分；并且一旦融合参数被拆分，其优化步骤就会碎片化为许多小核函数，因此该步骤被捕获到 CUDA 图中（§3.1）。我们将 Newton-Schulz 迭代设置为 8 步，以倾向于在压力下的额外稳定性。在推理时，预填充阶段主要由整个上下文的注意力主导，QSA 通过将键（key）序列压缩 rrr 倍来解决这一问题，将索引器成本从 O(n2)\mathcal{O}(n^2)O(n2) 降低到 O(n2/r)\mathcal{O}(n^2/r)O(n2/r)。解码阶段主要由内存流量主导，这就是为什么 GDN 层保持固定大小的循环状态，GR 丢弃了分支混合算子 HresH_{res}Hres，并且残差状态支持 FP8 存储。在 100 万（1M）的上下文长度下，QSA 在内核级别上，预填充速度比密集注意力快 7.6×7.6\times7.6×，解码速度快 4.9×4.9\times4.9×。
优化。Muon（Jordan 等，2024）被应用于充当线性映射的二维权重；输入和 n-gram 嵌入、输出头、MoE 路由器以及 GR 的低秩投影仍保留在 AdamW 上，因为在这些情况下正交化要么不切实际，要么没有帮助（§3.1）。融合参数在正交化之前被拆分，因为对拼接矩阵进行正交化会混合不相关子块之间的奇异方向（§3.1）。新架构和优化器也改变了最优超参数，因此我们重新拟合了用于 Qwen3.5 系列的缩放定律（scaling law）（Kaplan 等，2020）（§3.2）。新的缩放定律预测了更大的批次大小和学习率；这两个预测均被单独验证并得到确认。更大的批次大小提高了大规模下的并行吞吐量，而更大的学习率改善了收敛性。在早期训练中逐步增加批次大小（ramping）的效果并不比直接从目标值开始更好，并且会多消耗 18.8% 的优化器步骤，因此我们不使用它（§3.2）。
训练稳定性。我们通过提高学习率（Wortsman 等，2023）并保持恒定学习率来进行压力测试，以在中等模型规模下复现大规模的不稳定性，从而验证训练稳定性。评判标准是：在同等压力下，新方案必须至少与其所取代的前代方案一样稳定。在四倍于最优学习率的情况下，之前的结构频繁出现损失尖峰（spikes），而新方案在整个过程中保持稳定（§3.3）。在单变量对上隔离 GR 中的门控，证实了它是相对于 Qwen3.5 架构提升稳定性裕度的关键因素。作为这些稳定性增强的直接结果，Qwen3.8-Flash-Next 的全规模训练顺利进行，没有出现任何损失尖峰或梯度范数的异常波动，也无需依赖如 qk-clip（Kimi Team, 2025）或 SwiGLU-clip（Agarwal 等，2025）等显式的裁剪方法。
组织结构。§2.1.1 和 §2.1.2 描述了 Token 混合机制。§2.2 涵盖门控残差，§2.3 介绍 n-gram 嵌入层，§3.1 介绍优化器，§3.2 介绍超参数缩放，§3.3 介绍稳定性压力测试。随后是对所得基础模型和后训练模型的评估。
2 模型架构
2.1 注意力机制
2.1.1 GDN 混合架构
动机 。全自注意力提供了对每个前序 token 的直接基于内容的访问，但其 token 混合成本随序列长度呈二次方增长，且在自回归生成期间其键值（KV）缓存呈线性增长。滑动窗口注意力（SWA）用有界的局部感受野替代了全局访问，降低了计算和缓存消耗，但窗口外的信息只能通过深度间接传播。这在高效的局部处理与持久的内容依赖记忆之间造成了矛盾。
我们通过门控 DeltaNet（GDN） 与全局注意力的逐层混合来解决这一矛盾。GDN 以线性成本将前缀压缩为固定大小的循环状态，而交错的全局注意力层则保留了任何有限状态循环记忆都难以精确重现的直接 token 级检索能力。
门控 Delta 循环 。线性注意力可被解释为将键值关联存储在矩阵状态中的快权重记忆。对于每个头，设 qt,kt∈Rdkq_t, k_t \in \mathbb{R}^{d_k}qt,kt∈Rdk，vt∈Rdvv_t \in \mathbb{R}^{d_v}vt∈Rdv。GDN 维护状态 St∈Rdk×dvS_t \in \mathbb{R}^{d_k \times d_v}St∈Rdk×dv，并应用门控 delta 规则：
S~t−1=αtSt−1(1) \tilde{S}{t-1} = \alpha_t S{t-1} \quad (1) S~t−1=αtSt−1(1)
et=vt−S~t−1⊤kt(2) e_t = v_t - \tilde{S}_{t-1}^\top k_t \quad (2) et=vt−S~t−1⊤kt(2)
St=S~t−1+βtktet⊤(3) S_t = \tilde{S}_{t-1} + \beta_t k_t e_t^\top \quad (3) St=S~t−1+βtktet⊤(3)
yt=St⊤qt(4) y_t = S_t^\top q_t \quad (4) yt=St⊤qt(4)
其中 αt∈(0,1)\alpha_t \in (0, 1)αt∈(0,1) 是依赖数据的衰减，βt∈(0,1)\beta_t \in (0, 1)βt∈(0,1) 控制 delta 更新。等价形式为：
St=αt(I−βtktkt⊤)St−1+βtktvt⊤(5) S_t = \alpha_t (I - \beta_t k_t k_t^\top) S_{t-1} + \beta_t k_t v_t^\top \quad (5) St=αt(I−βtktkt⊤)St−1+βtktvt⊤(5)
衰减 αt\alpha_tαt 全局控制现有状态的寿命，而 delta 项首先估计与 ktk_tkt 关联的值，并仅写入残差误差。这种"擦除并写入"的操作使 GDN 区别于纯加法的线性注意力。
GDN 参数化 。给定归一化的残差流输入 xt∈Rdx_t \in \mathbb{R}^dxt∈Rd，GDN 使用学习的投影和短深度因果卷积计算内容特征：
qt=L2Norm(SiLU(ShortConv(Wqxt)))(6) q_t = \text{L2Norm}(\text{SiLU}(\text{ShortConv}(W_q x_t))) \quad (6) qt=L2Norm(SiLU(ShortConv(Wqxt)))(6)
kt=L2Norm(SiLU(ShortConv(Wkxt)))(7) k_t = \text{L2Norm}(\text{SiLU}(\text{ShortConv}(W_k x_t))) \quad (7) kt=L2Norm(SiLU(ShortConv(Wkxt)))(7)
vt=SiLU(ShortConv(Wvxt))(8) v_t = \text{SiLU}(\text{ShortConv}(W_v x_t)) \quad (8) vt=SiLU(ShortConv(Wvxt))(8)
写入强度和衰减参数化为：
βt=σ(Wβxt)(9) \beta_t = \sigma(W_\beta x_t) \quad (9) βt=σ(Wβxt)(9)
αt=exp−exp(A)softplus(Wαxt+bα)(10) \alpha_t = \exp-\\exp(A) \\text{softplus}(W_\\alpha x_t + b_\\alpha) \quad (10) αt=exp−exp(A)softplus(Wαxt+bα)(10)
头输出经过归一化，并由依赖输入的输出门调制：
ot=Woσ(Wzxt)⊙RMSNorm(yt)(11) o_t = W_o \\sigma(W_z x_t) \\odot \\text{RMSNorm}(y_t) \quad (11) ot=Woσ(Wzxt)⊙RMSNorm(yt)(11)
我们采用有界的 sigmoid 门（而非 SiLU），并采用零中心 RMSNorm 来约束权重增长。
内核效率 。我们使用基于 TileLang 的融合线性注意力内核库 FlashQLA 优化 GDN 内核。在 NVIDIA GPU 上，FlashQLA 相比 Triton 基线实现了 2--3×2\text{--}3\times2--3× 的前向加速和约 2×2\times2× 的反向加速。
架构消融。表 1 比较了全注意力 Transformer、SWA 混合和 GDN 混合。GDN 混合在 9 个基准中的 8 个上超越了 Transformer，在 7 个上超越了 SWA 混合，取得了最高的整体平均分。
| 架构 | MMLU | MMLU-Pro | SuperGPQA | MATH | GSM8K | BBH | MMMLU | EvalPlus | MultiPL-E | Avg. |
|---|---|---|---|---|---|---|---|---|---|---|
| Full attention | 62.65 | 37.59 | 21.76 | 49.40 | 75.13 | 63.78 | 47.74 | 51.01 | 39.73 | 49.87 |
| SWA hybrid | 66.30 | 40.67 | 22.45 | 45.48 | 74.22 | 65.88 | 51.33 | 52.12 | 41.93 | 51.15 |
| GDN hybrid | 66.26 | 42.82 | 23.45 | 53.98 | 77.07 | 68.72 | 54.83 | 49.71 | 47.48 | 53.81 |
| (表 1：架构比较。GDN 混合在大多数基准上表现最佳。) |
2.1.2 Qwen 稀疏注意力 (QSA)
动机 。稀疏注意力通过选择性地关注重要上下文，缓解了长上下文场景中 softmax 注意力的二次计算瓶颈。为了降低索引成本，Qwen3.8-Flash-Next 采用了 QSA 。QSA 使用轻量级索引器将序列压缩为微块（micro-block）表示，估计其重要性并选择最相关的上下文。
压缩轻量级索引器 。给定输入隐藏状态 xix_ixi，索引器采用具有 HHH 个查询头和一个共享键头的 MQA 结构。键被划分为大小为 rrr 的非重叠块，并通过平均池化进行压缩：
k^b=RMSNorm(AvgPool(kpb:pb+r−1)),0≤b<⌊n/r⌋(13) \hat{k}b = \text{RMSNorm}(\text{AvgPool}(k{p_b:p_b+r-1})), \quad 0 \le b < \lfloor n/r \rfloor \quad (13) k^b=RMSNorm(AvgPool(kpb:pb+r−1)),0≤b<⌊n/r⌋(13)
索引器应用部分 RoPE（Partial RoPE），在应用位置编码前进行键压缩，避免平均具有不同旋转相位的 token 表示。块级重要性得分 III 通过块因果评分获得：
Iib={∑h=1HReLU(⟨qih,kˉb⟩),pb+r−1≤i−∞,otherwise(15) I_{ib} = \begin{cases} \sum_{h=1}^H \text{ReLU}(\langle q_i^h, \bar{k}_b \rangle), & p_b + r - 1 \le i \\ -\infty, & \text{otherwise} \end{cases} \quad (15) Iib={∑h=1HReLU(⟨qih,kˉb⟩),−∞,pb+r−1≤iotherwise(15)
给定 token 预算 KKK，块预算为 KB=⌈K/r⌉K_B = \lceil K/r \rceilKB=⌈K/r⌉，每个查询选择得分最高的压缩块：
Bi=TopKKB({Iib}b)(16) B_i = \text{TopK}{K_B}(\{I{ib}\}_b) \quad (16) Bi=TopKKB({Iib}b)(16)
训练细节。QSA 在持续预训练（CPT）阶段引入，分为两个阶段：
- 密集蒸馏 ：将主干的全序列注意力分布蒸馏到索引器中。使用 max pooling 对齐块级得分，最小化 KL 散度：
LKL=1N∑iDKL(a^i,:∥Softmax(Ii,:))(18) \mathcal{L}{KL} = \frac{1}{N} \sum_i D{KL}(\hat{a}{i,:} \| \text{Softmax}(I{i,:})) \quad (18) LKL=N1i∑DKL(a^i,:∥Softmax(Ii,:))(18) - 稀疏训练：初始化索引器后，整个主干在索引器的指导下训练以适应稀疏注意力模式。
评估与效率分析 。如表 2 所示，QSA 在 8 个基准中的 7 个上匹配或超越了全注意力基线，平均分从 75.9 提升至 76.8。在长上下文检索（RULER 和 MRCR）中，QSA 在上下文超过 512K 时表现更好。
通过将键序列压缩 rrr 倍，QSA 将索引器复杂度从 O(n2)\mathcal{O}(n^2)O(n2) 降低到 O(n2/r)\mathcal{O}(n^2/r)O(n2/r)。在 1M 上下文长度下，QSA 在内核级别的预填充速度比密集 GQA 快 7.6×7.6\times7.6×，解码速度快 4.9×4.9\times4.9×。
2.2 残差 (Residual)
动机 。残差连接为每个块提供了直达网络输出的路径。预归一化保持了大规模训练的稳定性，但衰减了每层接收到的信号。我们通过拓宽残差流 并引入门控机制来解决这一问题。
拓宽残差流与超连接 (HC) 。我们将残差状态拓宽为 nrn_rnr 个分支 R(ℓ)∈Rnr×dR^{(\ell)} \in \mathbb{R}^{n_r \times d}R(ℓ)∈Rnr×d。HC 引入了三个算子：读取 HmixH_{\text{mix}}Hmix、写入 HcombineH_{\text{combine}}Hcombine 和混合 HresH_{\text{res}}Hres：
x(ℓ)=Hmix⊤R(ℓ)(23) x^{(\ell)} = H_{\text{mix}}^\top R^{(\ell)} \quad (23) x(ℓ)=Hmix⊤R(ℓ)(23)
R(ℓ+1)=HresR(ℓ)+Hcombine(y(ℓ))⊤(25) R^{(\ell+1)} = H_{\text{res}} R^{(\ell)} + H_{\text{combine}} (y^{(\ell)})^\top \quad (25) R(ℓ+1)=HresR(ℓ)+Hcombine(y(ℓ))⊤(25)
这些算子由残差状态预测，包含静态项和依赖数据的动态项。
门控残差 (Gated Residual, GR)。通过消融实验，我们发现：
- 有界正门控：sigmoid 门在损失和稳定性上优于 tanh。
- 读取粒度比写入粒度更重要：逐元素（elementwise）的读取门控收益巨大，而写入保持为每分支的标量即可。
- HresH_{\text{res}}Hres 收益甚微：一旦读取和写入足够丰富，混合算子不再带来显著提升，且会引入不稳定性。
因此，我们将设计简化为 GR 。GR 首先独立归一化每个分支，然后通过低秩瓶颈预测逐元素门控得分，并平均门控后的分支作为块输入：
R^i=RMSNorm(Ri;γi),i=1,...,nr(30) \hat{R}_i = \text{RMSNorm}(R_i; \gamma_i), \quad i=1,\dots,n_r \quad (30) R^i=RMSNorm(Ri;γi),i=1,...,nr(30)
G=unvec σ(WuSiLU(1rWdvec(R^)))∈Rnr×d(31) G = \text{unvec} \, \sigma\left(W_u \text{SiLU}\left(\frac{1}{r} W_d \text{vec}(\hat{R})\right)\right) \in \mathbb{R}^{n_r \times d} \quad (31) G=unvecσ(WuSiLU(r1Wdvec(R^)))∈Rnr×d(31)
x=1nr∑i=1nrGi⊙R^i(32) x = \frac{1}{n_r} \sum_{i=1}^{n_r} G_i \odot \hat{R}_i \quad (32) x=nr1i=1∑nrGi⊙R^i(32)
块输出 yyy 通过依赖数据的标量写入门控写回每个分支：
s=2σ(1nrWwvec(R^))∈Rnr(33) s = 2 \sigma\left(\frac{1}{n_r} W_w \text{vec}(\hat{R})\right) \in \mathbb{R}^{n_r} \quad (33) s=2σ(nr1Wwvec(R^))∈Rnr(33)
Ri′=Ri+siy(34) R_i' = R_i + s_i y \quad (34) Ri′=Ri+siy(34)
GR 的优势 ：去除了 HresH_{\text{res}}Hres，消除了每块对整个残差状态的完整读取，大幅降低了推理时的内存流量；同时，GatedNorm 提供了必要的重新缩放机制，显著提升了训练稳定性。
分支的用途。通过分析，我们发现 GR 增加的宽度主要用于少数特定路径：一个分支专门用于跨越多层保留早期的 GDN/注意力输出（长程路径），而其余三个分支保持局部连接。全局注意力层充当了整合这些长程历史上下文的关键枢纽。
推理效率 。我们尝试了稀疏读取（仅读取门控值最高的两个分支），但在后训练阶段会导致质量下降。最终，我们选择将残差状态存储为 FP8 格式，在几乎不损失质量的情况下将内存流量减半，并将读取和写入操作融合为单一内核。
2.3 N-gram 嵌入
动机。N-gram 嵌入通过以局部上下文（而非单一 token）为条件进行记忆检索，为扩展模型容量提供了互补的维度。由于其确定性寻址，N-gram 嵌入表可以卸载到主机内存并异步预取，几乎不增加每 token 的 FLOPs。
放置位置 。在固定参数预算下，我们将 N-gram 嵌入层放置在 第 2 层。这允许主机内存预取与第一层的计算重叠，且不同深度的放置对注意力机制（全注意力或 GDN）不敏感。
词汇表大小 。在固定 MoE 参数预算时，损失在词汇表扩大 10 倍时最低；而在允许增加总参数的情况下，损失随 N-gram 词汇表的扩大（从 20V20V20V 到 200V200V200V）单调下降，但下游基准测试准确率会达到饱和。中文基准测试（如 C-Eval）的性能随词汇表扩大持续稳定提升。
3 优化
3.1 优化器
Muon 优化器 。我们将基于矩阵的优化器 Muon 应用于充当线性映射的二维权重（如注意力的 q/k/v 投影、GDN 投影、MoE 专家等）。Muon 通过 Newton-Schulz (NS) 迭代对动量进行正交化。我们将 NS 迭代步数设为 8 步，以在压力测试下提供更准确的正交化和更高的稳定性。
参数分配与融合参数拆分 。输入嵌入、输出头、MoE 路由器和 GR 的低秩投影保留在 AdamW 上，因为正交化在这些情况下不切实际或无益。在 Megatron-LM 中，qkv 等投影被融合存储，但直接对融合矩阵正交化会混合不相关子块的奇异方向。因此，我们在正交化前拆分融合参数，独立运行 NS 迭代，然后再 Gather 回去。
实现 (Canzona) 。NS 迭代需要全局更新整个参数矩阵，这与 Megatron 的张量并行（TP）和数据并行（DP）分片冲突。我们开发了 Canzona 框架，通过 α\alphaα-平衡的静态分区器重新分配参数以均衡 DP 秩的 NS FLOPs，并通过异步 Micro-Group 管道重建矩阵。此外，由于参数拆分后会产生大量小内核，我们将整个优化步骤捕获到 CUDA 图中，以消除内核启动开销。
3.2 超参数缩放
新架构和 Muon 优化器改变了最优超参数。我们重新拟合了缩放定律，预测了更大的批次大小（Batch Size）和学习率（Learning Rate）。
- 大 Token 预算下的 Batch Size ：在 4T token 预算下，新预测的最优 Batch Size (B=25.2MB=25.2\text{M}B=25.2M) 比旧方案 (B=12.6MB=12.6\text{M}B=12.6M) 损失降低了 7.2×10−37.2 \times 10^{-3}7.2×10−3。损失在预测值以下急剧上升，在预测值以上保持平缓，表明预测值处于最优盆地。
- 不再需要 Batch Size Warmup：由于 Muon 在较大 Batch Size 下能保持数据效率，且能确保 MoE 专家获得充足的 token 信号，我们测试了早期逐步增加 Batch Size 的策略。结果证明，直接从目标 Batch Size 开始不仅性能更好，还节省了 18.8% 的优化器步骤。
- 更大模型规模下的 Learning Rate：在 156B-A7B 模型上的验证表明，新预测的学习率处于一个平坦的最优盆地中，即使学习率或 Batch Size 偏离预测值，基准测试性能也没有显著下降，且梯度范数始终保持在裁剪阈值（0.5）的 50% 以下，训练极其稳定。
3.3 稳定性压力测试
动机 。在万亿参数规模下，训练容易出现损失尖峰或发散。我们通过提高学习率并保持恒定来在中等规模模型上复现这些不稳定性。
结果与机制 。在 4 倍最优学习率下，旧的 AdamW + Qwen3.5 架构频繁触发梯度裁剪并出现损失尖峰；而 Muon + GR 组合在整个过程中保持完全稳定，零损失尖峰，且从未触发梯度裁剪。
隔离实验证实，GR 中的门控机制（GatedNorm） 是关键。如果没有显式的乘法门控，网络会通过产生巨大的激活异常值来实现重新缩放，导致脆弱性；GR 直接提供了必要的重新缩放，将激活异常值压制在极低水平，从而无需依赖 qk-clip 等显式裁剪方法。
4 评估
我们将 Qwen3.8-Flash-Next-Base 与 Qwen3.8-27B-Base 和上一代旗舰 Qwen3.7-Plus-Base 进行了对比。评估涵盖 14 个基准测试（包括 MMLU, MATH, GSM8K, EvalPlus, MMMLU 等）。
| 基准测试类别 | 具体任务 | Qwen3.8-Flash-Next-Base (125B/6B Act) | Qwen3.8-27B-Base | Qwen3.7-Plus-Base (397B/17B Act) |
|---|---|---|---|---|
| General | MMLU | 90.36 | 87.51 | 90.43 |
| MMLU-Pro | 73.23 | 68.60 | 70.90 | |
| SuperGPQA | 51.36 | 44.86 | 48.42 | |
| Math & STEM | MATH | 72.78 | 60.54 | 74.38 |
| GSM8K | 93.29 | 93.18 | 92.95 | |
| Coding | EvalPlus | 78.76 | 76.05 | 78.06 |
| MultiPL-E | 79.09 | 74.50 | 81.68 | |
| Multilingual | MMMLU | 84.86 | 79.74 | 84.53 |
| (表 11：基础模型对比节选。Flash-Next 在 14 个基准中的 8 个上超越了 397B 的 Plus-Base，且全面碾压 27B 模型。) |
结论 ：Qwen3.8-Flash-Next-Base 仅使用约 1/31/31/3 的激活参数 、1/31/31/3 的训练 token 和约 1/91/91/9 的训练 FLOPs，就保持甚至超越了上一代旗舰模型的质量，在训练和推理效率上实现了巨大的飞跃。
5 结论
我们描述了 Qwen3.8-Flash-Next 的架构及其消融实验。该模型在激活参数量、训练 token 数和计算 FLOPs 大幅减少的情况下，保留了上一代旗舰模型的质量。
本设计基于一个信念：架构、效率和优化构成了一个耦合系统。
- GR 提供了显著提升训练稳定性的重新缩放机制，这种稳定性裕度使得最优学习率和 Batch Size 得以向上推移，从而提高了吞吐量和收敛性。
- 逐阶段的成本核算引导我们将稀疏注意力的设计集中在索引器上，并将门控残差的表达能力集中在读取操作上。
- 如果脱离联合优化的视角，很容易陷入看似无害的捷径：例如在后训练阶段会退化的稀疏写入、在预训练期间看似可有可无的位置编码，或者白白浪费优化器步骤的 Batch Size Warmup。
展望未来，最紧迫的瓶颈是评估吞吐量：一种能够可靠预测后训练排序的低成本中等规模探测方法，将使架构设计空间的搜索变得更加高效。