把教师模型从线上服务中卸载，蒸馏出来的小模型还能完成任务吗？如果它承担完整生成，就要靠自己的能力交卷；如果它负责打草稿，线上还得保留一个验证草稿的目标模型。两种方案都会出现"小模型"，需要验收的东西却不同。
知识蒸馏（knowledge distillation）描述知识怎样转移，独立生成或参与投机解码（speculative decoding）描述模型怎样工作。 它们是两个维度，可以叠加。企业比较推理方案时，先画出上线后谁还在运行，再讨论参数量和速度，能少走不少弯路。
2026年10月15日，Meta发布Muse Spark Open开放权重。1 当天的vLLM官方文章提到：Muse Glimmer 30B由Muse Spark蒸馏而来，vLLM把此次开放的Spark Open称为Glimmer的教师；另有DSpark草稿模型为Spark Open加速。2 Glimmer本身在8月发布，这次的新消息是教师权重开放及配套推理支持。这个例子恰好能把训练关系与部署角色分开讲清楚。
1. 蒸馏训练的是学生，不会给它配一个永久监考的教师
在常见的能力蒸馏中，教师提供输出文本、概率分布或中间表示，学生更新自己的参数，学习教师在一组输入上的行为。训练完成后，学生可以独立接收请求、生成答案；教师是否继续参与线上回退或路由，是另外的系统设计。
这也说明，"老师教过"不能替代学生自己的考试。学生容量、数据覆盖、训练目标和部署输入都可能与教师不同。学会了一批答案，不等于在新任务上保留了教师全部能力。
以同词表、同一文本前缀下的概率蒸馏为例，可以写出一个常见目标：
L K D = E h ∼ D τ 2 ∑ v p T ( τ ) ( v ∣ h ) log p T ( τ ) ( v ∣ h ) p S ( τ ) ( v ∣ h ) L_{\mathrm{KD}}=\mathbb{E}_{h\sim D}\left\\tau\^2\\sum_v p_T\^{(\\tau)}(v\\mid h)\\log\\frac{p_T\^{(\\tau)}(v\\mid h)}{p_S\^{(\\tau)}(v\\mid h)}\\right LKD=Eh∼Dτ2v∑pT(τ)(v∣h)logpS(τ)(v∣h)pT(τ)(v∣h)
这里，h是"请求及已经生成的内容"，D是训练中采样前缀的分布；v遍历词表，p_T与p_S分别是教师和学生的下一token概率。
τ是软化分布的温度，两边都按softmax(logits/τ)计算。τ²是常用的梯度尺度补偿：软目标产生的梯度幅度按1/τ²缩放，同时使用硬标签与软标签时需要乘回τ²，以保持两者的相对贡献不随温度变化；本文只写软目标项，τ²不改变优化方向。教师固定时，最小化这个方向的KL散度，与最小化教师软标签（soft label）对学生的交叉熵有相同的学生优化方向。3 这是一种基本形式，不能覆盖所有蒸馏方法。
如果拿不到教师概率，只拿到教师生成并经过筛选的文本，也可以用这些文本监督学生逐token学习。此时优化的是学生对示范序列的似然；它不会自动得到教师对其他候选token的偏好。文本监督和概率监督都可能用于蒸馏，能拿到什么信号，决定能直接优化什么。
无论采用哪种信号，这里都没有"学生上线每生成一步，教师就替它纠错"的机制。蒸馏损失是在训练中约束学生，部署后的独立任务质量仍要另测。
2. 一个三选项算例：答案一样，也不代表学到的分布一样
把某个前缀后的完整词表简化为A、B、C三个token。以下数字是原创教学假设，取τ=1；它们不对应任何真实模型或业务测试。
| 下一token | 教师T | 学生S₁ | 学生S₂ |
|---|---|---|---|
| A | 0.70 | 0.60 | 0.40 |
| B | 0.20 | 0.25 | 0.35 |
| C | 0.10 | 0.15 | 0.25 |
若只看贪心输出，三个模型都会选A。用"有没有复述老师这一个token"评分，两个学生都通过。
但按上式计算，使用自然对数：KL(T‖S₁)约为0.0227，KL(T‖S₂)约为0.1882。S₁在这个前缀上的分布更接近教师。软监督能区分的差别，被一次贪心输出比较隐藏了。
图1：三个模型都贪心选择A，但下一token分布不同。概率与KL数值为作者教学设定及计算，不是真实模型测评；概率监督的解释依据Hinton等人的蒸馏方法说明。3
这并不能推出S₁在企业任务上一定更好：这里只比较了一个前缀，没有检验教师是否答对，也没有检验学生自己生成后续内容时会遇到什么输入。企业如果要让学生独立处理工单、抽取字段或调用工具，应使用未参与训练的任务验收完整结果，并单列高代价错误。训练损失可以帮助定位学习过程，不能替代这一步。
还有一个容易漏掉的条件：数据里的前缀是谁产生的。学生独立运行后，后续输入包含它自己的输出；如果只在教师生成的顺畅路径上训练和评估，学生偏离路径后的表现可能没有被覆盖。这是检查训练数据与线上输入差异的理由，不能靠增加教师答案数量一概解决。
3. 草稿模型先提议，目标模型仍参与生成
在模型辅助的投机解码中，草稿组件先提出若干token，目标模型对这些候选进行验证，再按对应算法接受、修正并继续生成。这里的"验证"针对目标模型的token分布或贪心选择，不是让大模型读完草稿后判断事实是否正确。
因此，目标模型原来会犯的事实错误，不会因为增加草稿模型就自动消失。草稿的任务是让目标模型更高效地生成；最终输出质量的参照仍是配置好的目标模型。这里说的是采用正确接受与拒绝修正的标准实现，实现层面的边界见第5节。
草稿组件也未必具有独立答题所需的输入与结构。DSpark模型卡写明，它读取目标模型若干层的隐藏状态，并使用冻结的目标模型输出头。4 这种依赖不能因为文件体积较小，就被忽略成"下载一个小模型即可替代大模型"。不同草稿方法的结构也不同，不能把DSpark的依赖推广到所有草稿模型。
草稿可以通过蒸馏训练；"用于草稿"本身却不证明采用了蒸馏。 投机解码还有基于提示词匹配等候选生成方式。蒸馏和投机解码不在同一条二选一的分类轴上。
图2：蒸馏中的教师提供训练监督；投机解码中的目标模型在推理时验证候选。学生可以独立生成，也可以作为目标模型搭配草稿组件。作者机制示意，依据Glimmer模型卡及vLLM文档，不代表所有方法采用相同结构。256
Muse Glimmer就是一个具体例子：官方卡说明它由Muse Spark蒸馏而来，可以本地运行，同时还配有DFlash草稿组件，由Glimmer验证候选token。5 此时，Glimmer相对Spark是学生，相对DFlash又是目标模型。它的教师关系没有改变，推理时的分工增加了一层。
4. 学生验能力，草稿验效率，两者都要看完整服务
独立学生的首要问题是：在约定任务上，能力损失是否可接受？草稿组件的首要问题是：保留目标模型后，额外计算能否换来更低延迟或更高吞吐？
| 验收对象 | 主要看什么 | 容易误用的指标 |
|---|---|---|
| 独立承担任务的学生 | 完整任务成功率、各类错误、失败后的处理 | 用训练KL或复述一致率代替业务验收 |
| 目标模型＋草稿 | 相同服务条件下的输出质量、延迟、吞吐和资源 | 用接受率直接换算加速倍数 |
草稿被接受得多，也可能变慢。设目标模型原来的生成阶段平均每token耗时20毫秒。下面仍是教学假设，忽略首段输入处理和排队，只比较稳态生成：
- 较重草稿：起草40毫秒，目标验证45毫秒，调度3毫秒，一轮平均产出4个最终token；均摊为(40+45+3)/4=22毫秒/token。
- 较轻草稿：起草4毫秒，验证仍为45毫秒，调度3毫秒，一轮平均产出3.2个最终token；均摊为16.25毫秒/token，生成速度约为基线的1.23倍（20/16.25）。
这里的"最终token"包含该轮实际接受或按算法补出的输出，不能拿草稿提交数代替。较重方案每轮产出更多，却比20毫秒的基线更慢。实际系统的验证成本还会随候选长度、批量、缓存和硬件变化，算例只是说明为什么必须把成本放回分母。
回到蒸馏选型，若学生能独立通过验收，就有机会从该服务路径移除教师的持续推理成本；是否总体划算，还得计入训练、部署、维护和回退。若保留大模型并加草稿，目标模型的权重与验证计算仍在。两份方案都叫"小模型加速"，实际需要的资源可以差很多。
5. 上线前，把"像老师"改成可执行的验收约定
对独立学生，先固定业务输入、可用工具和输出要求；如果教师训练时看得到学生上线拿不到的信息，要单独处理这个差异。冻结评测集，分别报告常见任务和关键困难样本，记录相对教师或原方案丢了哪些能力。存在回退时，同时记录回退触发条件和比例，否则独立能力不足可能被大模型兜底掩盖。
对草稿方案，保留"不启用草稿"的同一目标模型作基线，固定模型版本、量化、采样设置和硬件。按真实请求长度与并发测首token延迟、生成阶段延迟、吞吐、显存和错误率，接受率用于解释性能变化，不单独作结论。
标准投机采样算法有保持目标分布的理论依据，但它需要正确的接受与拒绝修正过程。7 vLLM文档也单列了浮点精度、批量变化和logprob稳定性的影响。6 随机采样下，"分布保持"不要求两次请求逐字相同；也不能据此承诺任意实现、量化版本和草稿配置都完全无损。
如果团队正在蒸馏一个学生模型，可以先把这个问题写进验收单：教师退出当前服务路径后，哪些任务仍由学生独立完成，哪些失败必须转交？ 这比先争论"小模型到底能省几倍"更容易得到可验证的答案。
来源与验证范围
本次于2026年10月16日核查。除标注为教学假设的算例外，模型能力和架构来自发布方材料；没有运行Muse模型、训练学生或测量部署性能。
- Meta：Introducing Muse Spark Open，2026-10-15，已读公告全文；开放权重附自定义许可。
- vLLM：Day 0 support for Muse Spark Open，2026-10-15，已读全文；教师关系、DSpark及部署信息。
- Hinton等：Distilling the Knowledge in a Neural Network，2015，已读引言及第2节；用于软标签、温度与训练目标解释，不是本日新研究。
- Inferact：Muse Spark Open DSpark模型卡，页面未见明确首发日期，已读全文；结构与接受率均有配置条件。
- Meta：Muse Glimmer 30B模型卡，标注2026年8月发布，已读模型概况、部署、草稿及限制。
- vLLM：Speculative Decoding文档，已读方法概览及无损条件；latest为可变版本，实际部署需核对安装版本。
- Leviathan等：Fast Inference from Transformers via Speculative Decoding，2022首稿、2023修订；已读第2节算法、第3节接受率与时间分析，本文引用保持目标分布的条件与性能取舍，不将其当作DSpark实测。