论文笔记：Like What You Like: Knowledge Distill via Neuron Selectivity Transfer
背景
论文：Like What You Like: Knowledge Distill via Neuron Selectivity Transfer，Zehao Huang 与 Naiyan Wang（TuSimple），arXiv 2017（v2 修订于 2017 年 12 月）。
先看这篇论文在压缩版图里的位置。神经网络加速大致有三条路线：剪枝、量化与知识迁移（KT）。作者指出了一个常被忽略的工程事实：剪枝得到的稀疏权重与量化的低精度表示，都需要专用硬件或特定实现才能真正兑现加速；而 KT 直接训练一个结构规整的小学生网络，在现有 GPU 与深度学习框架上就能获得 wall-time 级的实际加速。这是本文选择 KT 路线的动机。
在 KT 内部，前作各有各的局限：
- KD（Hinton et al.）只迁移 softmax 软化输出，完全绑定分类任务；且类别数少时几乎无效------二分类下软化目标提供不了多少额外监督。
- FitNets 逐点匹配教师的完整特征图，假设太强：师生容量差异大时反而可能损害性能与收敛。更本质的问题是，逐点匹配忽略了样本在神经元选择性空间中的密度分布，对噪声敏感。
- AT（本系列第四篇）用通道绝对值之和的空间图做摘要，放松了 FitNets 的假设，但匹配的仍是逐点的注意力数值。
本文要挖掘的"第四类知识"是神经元选择性（neuron selectivity）。作者给了一个直观例子：把 VGG16 Conv5_3 中两个神经元的激活热力图叠加到图像上，一个神经元对猴脸强烈响应，另一个对文字强烈响应。神经元在哪些区域、哪些样本上激活，暗示这些区域共享某种任务相关的相似性------即使这种相似性未必能被人类直觉解释。学生网络里也应当有神经元去模仿这种激活模式，这就是标题"Like What You Like"的含义：学生应当"喜欢"教师所"喜欢"的东西。
方法论的弹药来自域适应领域：MMD 长期被用作源域与目标域的分布距离度量；更有启发性的先例是，Li et al. 证明神经风格迁移本质上等价于二阶多项式核 MMD 的分布匹配。本文把这套机器搬进了知识迁移。
中心思想
全文的立论可以概括为一次视角升维：
知识迁移不该是"逐点匹配"，而应是"分布匹配"------不要求学生在每个位置复制教师的激活值，只要求学生神经元选择性模式的整体分布与教师一致。
具体地，把中间层特征图 F ∈ R C × H W F \in \mathbb{R}^{C \times HW} F∈RC×HW 的每个行向量 f i ⋅ ∈ R H W f_{i\cdot} \in \mathbb{R}^{HW} fi⋅∈RHW（第 i i i 个通道的整张特征图）视为"神经元选择性空间"中的一个样本，那么教师的 C T C_T CT 个通道特征图构成分布 p p p，学生的 C S C_S CS 个通道特征图构成分布 q q q，迁移目标就是对齐 p p p 与 q q q。
这个视角自带上限保证：当核空间是通用 RKHS（universal RKHS）时， M M D = 0 \mathrm{MMD}=0 MMD=0 当且仅当 p = q p = q p=q，因此最小化 MMD 等价于最小化两个分布的距离。
这个框架还有漂亮的统一性，作者在讨论部分展示了两个特例：
- 线性核下，NST 退化为 AT（推导见下文），说明 AT 是本框架的一个特例；
- 二阶多项式核下，MMD 匹配等价于 Gram 矩阵匹配 ------这正是神经风格迁移的核心机制。换句话说，NST-poly 让学生学习的是教师特征中"区域 i i i 与区域 j j j 有多相似"的二阶结构。
主要方法
1. MMD：从显式映射到核技巧
给定来自分布 p p p 的样本集 X = { x i } i = 1 N X = \{x_i\}{i=1}^N X={xi}i=1N 与来自 q q q 的 Y = { y j } j = 1 M Y = \{y_j\}{j=1}^M Y={yj}j=1M，平方 MMD 距离为：
L M M D 2 ( X , Y ) = ∥ 1 N ∑ i = 1 N ϕ ( x i ) − 1 M ∑ j = 1 M ϕ ( y j ) ∥ H 2 \mathcal{L}{MMD^2}(X, Y) = \left\| \frac{1}{N}\sum{i=1}^N \phi(x_i) - \frac{1}{M}\sum_{j=1}^M \phi(y_j) \right\|_{\mathcal{H}}^2 LMMD2(X,Y)= N1i=1∑Nϕ(xi)−M1j=1∑Mϕ(yj) H2
其中 ϕ ( ⋅ ) \phi(\cdot) ϕ(⋅) 是到再生核希尔伯特空间（RKHS）的映射。展开并用核技巧消去显式映射：
L M M D 2 ( X , Y ) = 1 N 2 ∑ i , i ′ k ( x i , x i ′ ) + 1 M 2 ∑ j , j ′ k ( y j , y j ′ ) − 2 M N ∑ i , j k ( x i , y j ) \mathcal{L}{MMD^2}(X, Y) = \frac{1}{N^2}\sum{i,i'} k(x_i, x_{i'}) + \frac{1}{M^2}\sum_{j,j'} k(y_j, y_{j'}) - \frac{2}{MN}\sum_{i,j} k(x_i, y_j) LMMD2(X,Y)=N21i,i′∑k(xi,xi′)+M21j,j′∑k(yj,yj′)−MN2i,j∑k(xi,yj)
2. NST 损失
L N S T ( W S ) = H ( y t r u e , p S ) + λ 2 L M M D 2 ( F T , F S ) \mathcal{L}{NST}(W_S) = H(y{true}, p_S) + \frac{\lambda}{2}\,\mathcal{L}_{MMD^2}(F_T, F_S) LNST(WS)=H(ytrue,pS)+2λLMMD2(FT,FS)
第一项是学生输出与真实标签的标准交叉熵，第二项对齐师生特征分布。代入 MMD 展开式（样本为各通道特征图）：
L M M D 2 ( F T , F S ) = 1 C T 2 ∑ i , i ′ k ( f T i ⋅ ∥ f T i ⋅ ∥ 2 , f T i ′ ⋅ ∥ f T i ′ ⋅ ∥ 2 ) + 1 C S 2 ∑ j , j ′ k ( f S j ⋅ ∥ f S j ⋅ ∥ 2 , f S j ′ ⋅ ∥ f S j ′ ⋅ ∥ 2 ) − 2 C T C S ∑ i , j k ( f T i ⋅ ∥ f T i ⋅ ∥ 2 , f S j ⋅ ∥ f S j ⋅ ∥ 2 ) \mathcal{L}{MMD^2}(F_T, F_S) = \frac{1}{C_T^2}\sum{i,i'} k\!\left(\tfrac{f_T^{i\cdot}}{\|f_T^{i\cdot}\|_2}, \tfrac{f_T^{i'\cdot}}{\|f_T^{i'\cdot}\|2}\right) + \frac{1}{C_S^2}\sum{j,j'} k\!\left(\tfrac{f_S^{j\cdot}}{\|f_S^{j\cdot}\|_2}, \tfrac{f_S^{j'\cdot}}{\|f_S^{j'\cdot}\|2}\right) - \frac{2}{C_T C_S}\sum{i,j} k\!\left(\tfrac{f_T^{i\cdot}}{\|f_T^{i\cdot}\|_2}, \tfrac{f_S^{j\cdot}}{\|f_S^{j\cdot}\|_2}\right) LMMD2(FT,FS)=CT21i,i′∑k(∥fTi⋅∥2fTi⋅,∥fTi′⋅∥2fTi′⋅)+CS21j,j′∑k(∥fSj⋅∥2fSj⋅,∥fSj′⋅∥2fSj′⋅)−CTCS2i,j∑k(∥fTi⋅∥2fTi⋅,∥fSj⋅∥2fSj⋅)
每个通道特征图先做 L2 归一化，确保所有样本处于同一尺度------损失只受分布形状影响，不受激活幅值影响（与 AT 的归一化思路一致）。师生空间分辨率不同时对特征图插值。
3. 三种核函数与选择
- 线性核： k ( x , y ) = x ⊤ y k(x,y) = x^\top y k(x,y)=x⊤y
- 多项式核： k ( x , y ) = ( x ⊤ y + c ) d k(x,y) = (x^\top y + c)^d k(x,y)=(x⊤y+c)d，实验取 d = 2 , c = 0 d=2, c=0 d=2,c=0
- 高斯核（RBF）： k ( x , y ) = exp ( − ∥ x − y ∥ 2 2 σ 2 ) k(x,y) = \exp\left(-\frac{\|x-y\|^2}{2\sigma^2}\right) k(x,y)=exp(−2σ2∥x−y∥2)， σ 2 \sigma^2 σ2 取样本对距离平方的均值
多项式核效果最好（CIFAR-10 与 CIFAR-100 上一致），高斯次之，线性最弱。
4. 线性核下退化为 AT：推导思路
线性核时 ϕ \phi ϕ 为恒等映射，MMD 就是两组归一化样本均值之差的模：
L M M D 2 L ( F T , F S ) = ∥ 1 C T ∑ i f T i ⋅ ∥ f T i ⋅ ∥ 2 − 1 C S ∑ j f S j ⋅ ∥ f S j ⋅ ∥ 2 ∥ 2 2 \mathcal{L}_{MMD^2}^{L}(F_T, F_S) = \left\| \frac{1}{C_T}\sum_i \frac{f_T^{i\cdot}}{\|f_T^{i\cdot}\|_2} - \frac{1}{C_S}\sum_j \frac{f_S^{j\cdot}}{\|f_S^{j\cdot}\|_2} \right\|_2^2 LMMD2L(FT,FS)= CT1i∑∥fTi⋅∥2fTi⋅−CS1j∑∥fSj⋅∥2fSj⋅ 22
而 AT 的绝对值之和注意力映射为 A s u m a b s ( F ) = ∑ k = 1 C ∣ f k ⋅ ∣ / ∥ ∑ k = 1 C ∣ f k ⋅ ∣ ∥ 2 A_{sum}^{abs}(F) = \sum_{k=1}^C |f_{k\cdot}| \big/ \big\|\sum_{k=1}^C |f_{k\cdot}|\big\|_2 Asumabs(F)=∑k=1C∣fk⋅∣/ ∑k=1C∣fk⋅∣ 2，其损失可重写为：
L A T ( F T , F S ) = ∥ ∑ i ∣ f T i ⋅ ∣ ∥ ∑ i ∣ f T i ⋅ ∣ ∥ 2 − ∑ j ∣ f S j ⋅ ∣ ∥ ∑ j ∣ f S j ⋅ ∣ ∥ 2 ∥ 2 2 \mathcal{L}_{AT}(F_T, F_S) = \left\| \frac{\sum_i |f_T^{i\cdot}|}{\big\|\sum_i |f_T^{i\cdot}|\big\|_2} - \frac{\sum_j |f_S^{j\cdot}|}{\big\|\sum_j |f_S^{j\cdot}|\big\|_2} \right\|_2^2 LAT(FT,FS)= ∑i∣fTi⋅∣ 2∑i∣fTi⋅∣− ∑j∣fSj⋅∣ 2∑j∣fSj⋅∣ 22
对 ReLU 之后的激活 （已非负， ∣ f ∣ = f |f| = f ∣f∣=f），两式等价，区别仅在归一化的形式：NST 先对每个通道图单独归一化再求平均，AT 先求和再整体归一化。二者都刻画"神经元在哪里高响应"。因此 AT 是本框架在线性核下的特例------这也解释了为什么多项式核（引入二阶信息）能超过 AT。
5. 多项式核下等价于 Gram 矩阵匹配
二阶多项式核（ c = 0 c=0 c=0）下，MMD 匹配可以改写为匹配向量化特征图的 Gram 矩阵：
L M M D 2 ( F T , F S ) = ∥ G S − G T ∥ F , g i j = ( f ⋅ i ) ⊤ f ⋅ j \mathcal{L}{MMD^2}(F_T, F_S) = \big\| G_S - G_T \big\|F, \qquad g{ij} = (f{\cdot i})^\top f_{\cdot j} LMMD2(FT,FS)= GS−GT F,gij=(f⋅i)⊤f⋅j
其中 G ∈ R H W × H W G \in \mathbb{R}^{HW \times HW} G∈RHW×HW， g i j g_{ij} gij 粗略表示空间区域 i i i 与区域 j j j 的相似度 （ f ⋅ i f_{\cdot i} f⋅i 为位置 i i i 上的通道激活向量）。这引导学生学习教师嵌入空间中的任务驱动区域相似结构，极大丰富了监督信号------也正是 Gatys 风格迁移背后的机制。
6. 实验结果
设置：CIFAR 上教师为 ResNet-1001、学生为简化版 Inception-BN；迁移损失只放在一处 ------学生 "in5b" 卷积输出与教师最后一个残差组输出之间（多层损失的增益甚微）。KD 按原文取温度 4、 λ = 16 \lambda=16 λ=16；FitNet 与 AT 的 λ \lambda λ 分别为 10 2 10^2 102、 10 3 10^3 103；NST 的 λ \lambda λ 对线性/多项式/高斯核分别取 5 × 10 1 5\times10^1 5×101、 5 × 10 1 5\times10^1 5×101、 10 2 10^2 102。
CIFAR（错误率）：
| 方法 | CIFAR-10 | CIFAR-100 |
|---|---|---|
| 学生 Inception-BN | 5.80 | 25.63 |
| KD | 4.47 | 22.18 |
| FitNet | 4.75 | 23.48 |
| AT | 4.64 | 24.31 |
| NST（线性） | 4.87 | 24.28 |
| NST（多项式） | 4.39 | 23.46 |
| NST（高斯） | 4.48 | 23.85 |
| 教师 ResNet-1001 | 4.04 | 20.50 |
两个规律：CIFAR-10 上 NST-poly 全场最佳；CIFAR-100 上 KD 最佳------作者的解释是类别数越多，软化 softmax 携带的类内/类间信息越丰富，KD 越占优。NST 三种核中多项式核始终最好，印证了二阶结构的价值。
组合实验 ：KD+FitNet 4.54/22.29，KD+FitNet+NST 4.54/22.25，KD+NST 4.21/21.48（最佳）------相对学生基线绝对提升约 1.6/4.2 个百分点，相对错误率降低 27.6%/16.4%。KD（最终预测）与 NST（中间分布）互补性极强；训练曲线上所有迁移法都加速收敛，KD+NST 收敛最快。
ImageNet （教师 pre-activation ResNet-101，学生 Inception-BN；只测最优的 NST-poly， λ = 5 × 10 1 \lambda=5\times10^1 λ=5×101；NAG，batch 512，100 epochs）：
| 方法 | top-1 | top-5 |
|---|---|---|
| 学生 Inception-BN | 25.74 | 8.07 |
| KD | 24.56 | 7.35 |
| FitNet | 25.30 | 7.93 |
| AT | 25.10 | 7.61 |
| NST-poly | 24.82 | 7.58 |
| KD+AT | 24.64 | 7.26 |
| KD+FitNet | 24.48 | 7.27 |
| KD+NST-poly | 24.34 | 7.11 |
| 教师 ResNet-101 | 22.68 | 6.58 |
单独方法中 KD 最佳，NST 在特征类方法中最佳；KD+NST 组合最优（相对学生 top-1 提升 1.4 个百分点）。一个有意思的对照：AT 论文曾报告 KD 在 ImageNet 上伤害 Inception-BN 的收敛，本文却观察到 KD 与 FitNet 都有正收益------作者推测 AT 论文的负结果源于其选择了较弱的教师（ResNet-34）。
PASCAL VOC 2007 检测（Faster R-CNN，只换 ImageNet 预训练 backbone） ：基线 75.6 mAP → KD 76.0 → FitNet 76.6 → AT 76.5 → NST 76.8 → KD+NST 77.2 。NST 单独增益最大（+1.2），且特征图类方法（FitNet/AT/NST）全面优于 KD------检测任务依赖空间信息，而 KD 的 softmax 输出完全丢弃了它。t-SNE 可视化也确认：MMD 匹配后学生激活分布明显向教师靠拢。
特点（优缺点）
优点
- 首次把知识迁移建模为分布匹配问题，也是 MMD 首次进入知识迁移领域。从"点对点"到"分布对分布"是一次真正的视角升级，直接启发了后续一批以分布/相似度结构为迁移对象的方法。
- 框架有统一性：AT 是线性核特例（ReLU 后等价、仅归一化形式不同），poly-2 核又与风格迁移的 Gram 矩阵匹配相通------用一个核函数族串起了三类看似不同的方法，并解释了为什么引入二阶信息能超越 AT。
- 与 KD 互补且可叠加：KD 迁最终预测、NST 迁中间分布，两者组合在 CIFAR 与 ImageNet 上都拿到最佳结果（KD+NST），相对错误率降低最高达 27.6%。
- 可迁移到下游任务：VOC 检测上 +1.2 mAP（与 KD 组合 +1.6），且推理阶段对学生网络零额外计算；还揭示了"特征类迁移对空间敏感任务优于 KD"这一实用结论。
- 不绑定 softmax：损失只依赖中间特征，原则上可推广到回归、排序等无 softmax 的任务（KD 做不到）。
- 实现轻量：单个 MMD 损失层即可，不需要 FitNets 式的回归器参数。
缺点与局限
- 核函数与超参选择是纯经验的 ：三种核的表现差异没有理论解释， λ \lambda λ 要逐核逐数据集调（ 5 × 10 1 5\times10^1 5×101 到 10 2 10^2 102 不等）；"多项式核最好"只是实验观察。
- 单独使用时不敌 KD（多类别场景）：CIFAR-100 与 ImageNet 上 KD 单独最佳，NST 必须与 KD 组合才能登顶；其价值更多是"互补"而非"替代"。
- 回归/排序只有展望、没有实验。这一点需要更正常见误读：论文并未做任何回归实验，只是在讨论中说明本方法不受 softmax 约束、并把超分辨率与光流预测列为 future work。所谓"可以推广到回归任务"是适用性论证，不是实验结论。
- MMD 的计算开销 ：核矩阵求和的复杂度为 O ( C T 2 + C S 2 + C T C S ) O(C_T^2 + C_S^2 + C_T C_S) O(CT2+CS2+CTCS)，当通道数很大时（现代网络动辄数千通道）三项求和显著贵于 AT 的单次张量运算。
- "AT 是特例"的等价性有前提：要求激活经过 ReLU（非负），且只是"除归一化形式外等价"；对含负激活的层，线性核 NST 与 AT 并不相同。
- 有限样本下理论保证打折 ：MMD=0 当且仅当分布相等的结论建立在通用 RKHS 与无穷样本之上，实际只有 C C C 个通道样本、且学生容量有限，分布匹配只能近似成立。
- 教师依赖与单损失放置：仍需先训好强教师；迁移损失位置（in5b ↔ 最后一组残差块）为手工指定，作者也发现多层损失的增益甚微，但未给出放置原则。