蒸馏与小模型深拆：软标签、轨迹搬运与能力电网

这条系列走到现在，蒸馏其实一直以配角身份反复出场：第 3 篇说 SFT 是"把人写的样子蒸馏进模型"、RM 是"把人的偏好蒸馏成标量"；第 8 篇说 RL 长思考的本质是"把显式搜索的行为蒸馏进单条路径"，并留下两行断言------"小模型蒸馏教师轨迹优于直接 RL"、"上限锁死在教师"；第 9 篇的 Agent 委派回传、第 11 篇的"知识蒸馏进权重"也都是它的变体。本篇把这条暗线拖到正面：软标签里到底有什么、什么东西搬得走、轨迹从哪来、小模型的经济账怎么算------以及上限在哪里。

一、软标签：分布里的暗信息

Hinton 2015 年的原始配方至今是内核：学生不只学教师的答案，学教师的整个输出分布 。硬标签"这是猫"只携带 1 bit；软标签"猫 0.85、狗 0.12、狐狸 0.02"还携带了类间几何------猫像什么、不像什么。这些低概率项就是所谓暗知识：对监督无用的部分，恰恰是对学生最贵的部分。LLM 语境下这个概念被放大到极限：128K 词表上的软分布，是教师对"下一步还有什么可能"的全部判断。

python 复制代码

def distill_loss(s_logits, t_logits, labels, T=2.0, w=0.5):
    p_s = F.log_softmax(s_logits / T, -1)
    p_t = F.softmax(t_logits / T, -1)
    kl = F.kl_div(p_s, p_t, reduction="batchmean") * T * T
    return w * kl + (1 - w) * F.cross_entropy(s_logits, labels)

温度 TTT 的作用只有一个：放大暗信息。logit 除以 TTT 再归一化，原本 0.02 与 0.05 的差距在分布里被撑开成有意义的监督信号；T→1T \to 1T→1 退回硬性模仿，TTT 过大则噪声淹没结构。T2T^2T2 的系数是梯度的尺度补偿，工程细节，但写错的学生训不动。

二、搬运物清单：什么搬得走

蒸馏的失效分析要按"搬运物"分类。经验分布大致如下：

搬运物	可搬度	原因
风格、格式、工具调用	高	高频、可枚举，容量需求低
推理模式（分解、反思、自验）	中	模式可搬，深度受底座限制
长尾事实知识	低	软分布里权重稀薄，容量挤占
校准与不确定性	低	小模型过度自信是通病
能力上限	零	锁死在教师与底座中较小者

第二行是 2025 年的主战场，R1-Distill 是标准案例：671B 教师的 80 万条推理轨迹 SFT 进 Qwen 1.5B~32B 全系，小模型学会了自我验证、回头纠错这些"动作"，在数学基准上大幅跃升。但学会反思的动作不等于学会更高深的数学 ------轨迹里可复制的是行为模式，模式的执行质量仍然受学生容量约束。这给第 8 篇的"知识可蒸馏、熟虑不可蒸馏"补上精确注脚：熟虑的模式可以蒸走，熟虑的深度留在教师。轨迹蒸馏在模式层有效、在深度层失效，两条经验观察由同一个机制解释。

三、轨迹从哪来：off-policy 与 on-policy

SFT 式蒸馏有个分布错配：固定数据集上学生只见过教师走过的路，学生自己会犯的错误状态，教师从未在场。就像跟名师抄谱永远学不会即兴------错的时刻没有反馈。on-policy 蒸馏（GKD 一系）改让学生生成、教师陪跑：

python 复制代码

def gkd_loss(student, teacher, prompt):
    seq = student.generate(prompt)            # 学生的状态分布
    s = F.log_softmax(student.logits(seq), -1)
    t = F.softmax(teacher.logits(seq), -1)    # 教师在同一条轨迹上的判断
    return (t * (t - s.exp().log())).sum(-1).mean()   # reverse KL

KL 方向是关键选择：forward KL（追教师全部质量）逼学生覆盖教师的每个模式，在教师高熵处学生只能输出"各模式的平均"------平庸而含糊；reverse KL 集中火力学教师最自信的模式，学生输出低熵而果断（MiniLLM 的选择）。蒸馏一个推理教师时几乎总选后者------要的是果断，不是面面俱到。

账本也别漏：on-policy 意味着教师逐 token 打分的推理开销，蒸馏因此有了一个精确定义------用教师的推理预算换学生的参数。第 8 篇说推理时计算"每次都要现场发生、不可缓存"，蒸馏是这句话的例外条款：它把现场发生过的熟虑固化成权重，让第二次之后的每一次都不再现场发生。

四、小模型经济学

物理层面回到第 5 篇第一性原理：解码瓶颈是显存带宽，batch=1 下 tokens/s ≈ 带宽 / 参数字节数。小模型天然占优------1.5B 走 int4 约 1GB，端侧可跑，首 token 延迟吃满带宽红利。价格差一到两个数量级，但每 token 能力同步缩水，于是正确的问题从来不是"用哪个"，而是流量怎么分配。

蒸馏学生在服务侧的最佳岗位之一是给投机解码供货（第 5 篇）：draft 模型的使命就是分布逼近教师------接受率 α\alphaα 直接进加速比公式，蒸馏损失恰好就是这个指标的代理。训练目标与服务角色第一次完全同构。

另一岗位是级联路由：

python 复制代码

def cascade(q, small, large, tau=0.9):
    ans, conf = small.answer(q, return_conf=True)
    return ans if conf > tau else large.answer(q)

节省 = 通过率 × 单价差。难点在 conf：小模型过度自信（第二节的通病），裸 token 概率不可靠，工程上改用采样一致性------同一问题采 nnn 次看答案分歧度，用一小笔推理时计算（第 8 篇的 self-consistency）买路由信号。级联是蒸馏与推理时计算的交叉路口，两边的账在这里合流。

五、上限与争议

教师越强越好吗 ------经典 KD 研究给出过否定证据：能力差距过大时学生学不到暗知识，只学到表面模仿。但 R1-Distill 用 671B 教 1.5B 明显成功。矛盾的消解在搬运物：logit 暗知识对容量敏感，轨迹行为模仿对容量宽容------前者是精细的分布几何，后者是离散的动作序列。蒸馏推理模型走的是第二条路，所以教师可以很远处。

配方的坑：推理轨迹喂太多，通用能力退化（"掉通用"）------容量零和，反思模式挤占闲聊与知识。解法是营养学：轨迹与通用数据按比例混，比例是 2025 年各家闭源配方里最不公开的部分。

分工定型 ：预训练造知识、RL 炼上限、蒸馏做传播。第 8 篇的断言由此完整：<32B 直接 RL 不如蒸馏，因为 RL 需要基础策略多样性供奖励筛选，小模型候选池太浅------多样性外包给教师；蒸馏之后再 RL，上限才解锁。产线上因此有了明确次序：先蒸骨架，再炼深功。

六、收束

环节	动作	买下什么	上限
预训练	从语料造	知识	语料 × 算力
RL	在环境炼	能力上限	奖励的真实性
蒸馏	教师传学生	能力复制	教师与底座中较小者

产业分工照这张表成型：少数大模型负责冶炼（RL、长思考、贵的那一次），众多小模型负责并网（蒸馏、部署、便宜的每一次）。蒸馏自己不创造任何能力------它做的是输电。

一句话收束：蒸馏是能力的再分配而非创造------把少数教师的推理时计算折进多数学生的参数，让"贵一次"的知识与"每次都贵"的熟虑，变成"每次都便宜"。