27届大模型岗面试准备（十一）：模型蒸馏与稀疏化------从软标签到结构化剪枝的压缩全景
上一篇讲推理加速时留了个尾巴：KV Cache、PagedAttention 这些手段优化的是"怎么跑得快"，但模型本身的参数量没变。如果连模型都能变小、变稀疏，推理优化的天花板才能真正抬高。这就是今天的主题------知识蒸馏（Knowledge Distillation）与稀疏化（Sparsification）。
这两个方向在 27 届面试里出现的频率明显上升，原因很实际：端侧部署和推理成本控制成了各家的硬需求。DeepSeek-R1 用蒸馏把推理能力迁移到 7B 小模型、Llama 系列的剪枝版（如 Minitron 路线）都把这套技术推到了台前。面试官问蒸馏，考的不只是"老师教学生"这句比喻，而是你能不能把损失函数写出来、把温度系数的作用讲透、把白盒和黑盒蒸馏的边界分清。
一、为什么量化之外还需要蒸馏和剪枝
先把三种主流压缩手段放在一起对比，这也是面试第一问"模型压缩有哪些手段、各自适用什么场景"的标准素材：
| 压缩手段 | 核心思路 | 压缩维度 | 是否需要训练 | 典型压缩比 | 主要风险 |
|---|---|---|---|---|---|
| 量化（Quantization） | 降低权重/激活的数值精度 | 比特位宽 | PTQ 不需要，QAT 需要 | 2--8 倍 | 离群值导致精度崩塌 |
| 蒸馏（Distillation） | 用大模型的输出监督小模型训练 | 参数量（换小模型） | 必须训练 | 5--50 倍 | 学生容量不足，能力断层 |
| 剪枝（Pruning） | 移除不重要的权重或结构 | 参数量（原模型瘦身） | 通常需恢复训练 | 1.5--3 倍 | 非结构化稀疏难加速 |
| 低秩分解 | 权重矩阵分解为低秩乘积 | 参数量 | 需微调恢复 | 1.5--2 倍 | 秩选择敏感 |
三者不是竞争关系，而是可以叠加的流水线：先蒸馏得到小模型，再剪枝去冗余，最后量化上线。NVIDIA 的 Minitron 就是"剪枝 + 蒸馏恢复"的组合拳：把 15B 剪到 8B，再用原模型蒸馏恢复精度，训练成本只有从头训练的几十分之一。
面试官往往会追问一句：量化和蒸馏最本质的区别是什么？ 我的答法是：量化不改变模型结构，只改变数值表示，能力上限就是原模型；蒸馏是训练一个新模型，参数量可以差一个数量级，但需要完整的训练流程和数据，能力来自"迁移"而非"保留"。
二、知识蒸馏：软标签里藏着什么
2.1 Hinton 的原始洞察
蒸馏的经典形式来自 Hinton 2015 年的论文：让学生模型不仅学习真实标签（硬标签），还学习教师模型输出的概率分布（软标签）。
关键在于软标签携带了类间关系信息。教师模型看到一张"2"的图片，输出可能是 {2: 0.9, 3: 0.06, 7: 0.03}------这个分布告诉学生"2 和 3、7 在形态上更接近"，这是硬标签 one-hot 里完全没有的暗知识（dark knowledge）。
温度系数 T 的作用是把这个分布"放大"给学生看：
p_i = \\frac{\\exp(z_i / T)}{\\sum_j \\exp(z_j / T)}
T=1 时就是普通 softmax；T 越大，分布越平滑，小概率类别的信息被放大。训练时教师和学生都用同一个 T 计算软标签损失，推理时学生恢复 T=1。
有个必考细节：软标签损失的梯度量级约为 1/T²，所以软损失项要乘 T² 来平衡。这个点能答上来，面试官基本确认你推过公式而不是背结论。
2.2 LLM 时代的三种蒸馏形态
| 蒸馏形态 | 监督信号 | 对教师的访问要求 | 代表工作 | 适用场景 |
|---|---|---|---|---|
| 白盒 logits 蒸馏 | 完整输出分布（KL 散度） | 需要 logits | MiniLLM、DistilBERT | 自有教师模型 |
| 白盒特征蒸馏 | 中间层 hidden states / attention | 需要模型内部 | TinyBERT | 结构相近的师生 |
| 黑盒数据蒸馏 | 教师生成的文本（SFT 形式） | 只需 API | Alpaca、R1 蒸馏系列 | 教师是闭源 API |
黑盒蒸馏在今天最常见------所谓"用 GPT-4 造数据训自己的模型"本质就是黑盒蒸馏，监督信号从概率分布退化成了采样出的文本序列，信息量更少，但工程上最容易做。DeepSeek-R1 的蒸馏系列（R1-Distill-Qwen-7B 等）用的也是这条路：拿 R1 生成的 80 万条推理数据对小模型做 SFT，没有用 KL 散度对齐 logits。
追问高发区：为什么黑盒蒸馏用序列级 SFT 而不是 token 级 KL？ 因为闭源 API 拿不到完整词表上的概率分布；即使拿得到，师生词表不一致时 KL 散度也没法直接算（需要做词表对齐或用 ULD 等近似方法）。
2.3 手写蒸馏损失
下面这段代码用 PyTorch 实现标准的蒸馏损失（软标签 KL + 硬标签 CE），可以直接运行验证数值行为：
python
import torch
import torch.nn.functional as F
def distillation_loss(student_logits, teacher_logits, labels,
temperature=4.0, alpha=0.7):
"""
student_logits: [batch, num_classes] 学生原始 logits
teacher_logits: [batch, num_classes] 教师原始 logits
labels: [batch] 真实标签
alpha: 软标签损失权重
"""
# 软标签损失：KL(teacher || student)，注意乘 T^2 平衡梯度量级
soft_student = F.log_softmax(student_logits / temperature, dim=-1)
soft_teacher = F.softmax(teacher_logits / temperature, dim=-1)
soft_loss = F.kl_div(soft_student, soft_teacher,
reduction="batchmean") * (temperature ** 2)
# 硬标签损失：普通交叉熵
hard_loss = F.cross_entropy(student_logits, labels)
return alpha * soft_loss + (1 - alpha) * hard_loss
# ---- 数值验证 ----
torch.manual_seed(42)
batch, num_classes = 8, 10
teacher = torch.randn(batch, num_classes) * 3 # 教师置信度更高
student = torch.randn(batch, num_classes)
labels = torch.randint(0, num_classes, (batch,))
for T in [1.0, 2.0, 4.0, 8.0]:
loss = distillation_loss(student, teacher, labels, temperature=T)
print(f"T={T:<4} loss={loss.item():.4f}")
# 观察：教师分布随 T 增大而变平滑，软损失趋向于均匀分布间的 KL
probs_t1 = F.softmax(teacher[0] / 1.0, dim=-1)
probs_t8 = F.softmax(teacher[0] / 8.0, dim=-1)
print("T=1 教师分布熵:", -(probs_t1 * probs_t1.log()).sum().item())
print("T=8 教师分布熵:", -(probs_t8 * probs_t8.log()).sum().item())跑一遍会看到：T 越大教师分布熵越大（更平滑），这正是"放大暗知识"的数值体现。面试时若被要求手写，KL 方向（teacher 在前还是 student 在前）、log_softmax 用在哪一侧、T² 补偿这三个点是评分线。
顺带一个进阶考点：MiniLLM 提出对生成式 LLM 应该用反向 KL（KL(student || teacher)）而不是前向 KL，因为前向 KL 会迫使学生给教师分布的所有模式都分配概率（mode-covering），小模型容量不够时会学得"四不像"；反向 KL 允许学生聚焦教师分布的主模式（mode-seeking），生成质量更稳。
三、稀疏化与剪枝：把冗余参数拿掉
3.1 非结构化 vs 结构化
剪枝的第一个分野是剪的粒度：
- 非结构化剪枝：逐个权重置零，稀疏模式任意。压缩率高、精度损失小，但普通 GPU 的稠密矩阵乘根本吃不到加速------除非硬件支持（如 NVIDIA Ampere 的 2:4 半结构化稀疏，每 4 个连续权重里恰好 2 个为零，Tensor Core 可以硬件加速）。
- 结构化剪枝：整行、整列、整个注意力头、整层地删。压缩后还是稠密小矩阵，任何硬件都能直接受益，但精度损失更大，通常需要蒸馏恢复。
LLM 领域两个代表工作值得点名：SparseGPT 把剪枝转化为逐层的稀疏回归问题，用近似二阶信息一次性剪到 50% 稀疏度而无需重训；Wanda 更简单，用 |权重| × 激活范数 作为重要性分数，连梯度都不用算，效果却接近 SparseGPT------这个"激活感知"的思想和 AWQ 量化一脉相承：参数重不重要，不能只看权重本身，要看它实际处理的激活量级。
3.2 MoE：稀疏化的另一种答案
面试里常有人漏掉这一层：Mixture-of-Experts 本质也是稀疏化，只不过是激活稀疏而非权重稀疏。DeepSeek-V3 有 671B 总参数，每个 token 只激活 37B------参数全都在，但每次前向只用一小部分。与剪枝的"永久删除"不同，MoE 是"按需路由"，容量和成本解耦。回答"如何降低大模型推理成本"这类开放题时，把 MoE 放进稀疏化谱系里一起讲，层次感会好很多。
四、面试答题框架
遇到"讲讲模型压缩/蒸馏"这类题，推荐这个四步结构：
- 先分类：量化/蒸馏/剪枝/低秩分解四条线，一句话说清各自压缩的维度；
- 再深入蒸馏：软标签与暗知识 → 温度系数与 T² 补偿 → 白盒/黑盒三形态 → 前向/反向 KL 的取舍；
- 稀疏化补充：结构化 vs 非结构化的硬件友好性差异、2:4 稀疏、SparseGPT/Wanda、MoE 激活稀疏；
- 落地组合拳：剪枝 + 蒸馏恢复 + 量化上线的流水线，举 Minitron 或 R1-Distill 为例收尾。
最后自测三问：DPO 的软标签和蒸馏的软标签有什么本质区别？为什么 R1 蒸馏选 SFT 而不对齐 logits？2:4 稀疏为什么能被 Tensor Core 加速而随机稀疏不能？这三问都能顺畅答出，这一章就过关了。
下一篇进入 A12：RAG 从原理到落地------检索增强这条线是大模型岗位面试的绝对高频区，会把分块、向量检索、重排到评估的完整链路一次讲透。