3、深度学习与全连接面试题

该文章只针对面试时面试官提问如何回答的更全更好，看此文章没有讲解太多太细节的知识点。如果知识点本身不会，背诵此文章可能能让你找到一份工作，但不能让你持续的干下去。还是需要自身精通对应知识点。

该文章适合有学习过深度学习与全连接的朋友阅读，主要是针对本科应届生。收录了12道近几年非常经典的深度学习与全连接面试题。

如果您觉得这篇文章对您有帮助，想深入学习人工智能相关技术可以私信我，谢谢

1. 在 5 层以上 FC 中如何系统性地检测与解决？

系统性检测方法：

梯度监控：在训练过程中，计算并记录每一层权重梯度的范数 (L2 norm)。如果发现前面层的梯度范数远远小于后面层 (如几个数量级)，则存在梯度消失；反之则存在梯度爆炸。
激活值分布监控：在前向传播后，可视化每一层激活值的均值、标准差或直方图。如果大量激活值为 0 (如使用 ReLU)，或者激活值饱和 (如 sigmoid 输出接近 0 或 1)，都表明网络处于不健康状态。
权重更新比率：监控 (权重更新的幅度 / 权重本身的幅度)。一个好的经验法则是这个比率大约在 0.001 左右 (即千分之一)。如果某些层的这个比率远低于此，说明该层学习缓慢。

系统性解决方法：

初始化：使用更适合深度的初始化方法，如 He 初始化 (针对 ReLU 族) 或 Xavier 初始化 (针对 Sigmoid/Tanh)。
归一化：引入批归一化 (BatchNorm) 层。BN 通过强制每一层的输入分布保持稳定，极大地缓解了内部协变量偏移 (Internal Covariate Shift)，使得网络对初始化的敏感性降低，并允许使用更高的学习率。
架构设计：借鉴 ResNet 思想，加入跳跃连接 (Skip Connections)。它创建了一条 "高速公路"，让梯度可以直接反向传播到更早的层，从根本上解决了梯度消失问题。
激活函数：使用更优秀的激活函数，如 Leaky ReLU、PReLU 或 ELU，它们可以缓解 ReLU 的 "神经元死亡" 问题。
优化技巧：对于梯度爆炸，可以使用梯度裁剪 (Gradient Clipping)，设置一个阈值，当梯度超过这个值时就被裁剪掉。

2. Xavier 与 He 初始化的推导差异，分别适用于哪种激活？

两者的目标都是在网络开始时，保持前向传播中激活值的方差和反向传播中梯度的方差大致一致，以防止梯度在传播过程中过快缩小或放大。

Xavier 初始化 (Glorot 初始化)： 推导假设：假设激活函数是线性且对称的，例如 tanh 和 sigmoid (在零点附近近似线性)。它追求的是前向激活值的方差和反向梯度的方差都保持不变。

核心：分母是，是输入和输出神经元数量的调和平均数。

He 初始化 (Kaiming 初始化)： 推导差异：它针对的是 ReLU 及其变种。ReLU 函数会将一半的输入置零，这会使前向传播中激活值的方差减半。He 初始化在推导中考虑到了这个因素，进行了校正。

公式：

核心：分母只有，并且分子是 2 而不是 1，这个 2 就是为了补偿 ReLU 的 "半壁江山" 效应。

适用场景：

Xavier 初始化：适用于 tanh、sigmoid 等饱和性激活函数。
He 初始化：适用于 ReLU、Leaky ReLU 等非对称、具有 "死区" 的激活函数。

3. Dropout 与 BatchNorm 两者一起用时在训练 / 推理阶段的注意点，如何保证方差一致？

Dropout 和 BN 的组合问题根源在于方差偏移：

Dropout 的作用：在训练时，它随机丢弃神经元，这改变了该层输出的统计分布 (均值和方差)。
BN 的假设：BN 层在训练时对每个小批量数据进行标准化 (减去小批量均值，除以小批量标准差)，并将其统计量 (running_mean, running_var) 滑动平均记录下来。BN 隐式地假设其输入数据的分布是稳定的。
冲突：当 Dropout 放在 BN 之前时 (这是最常见的顺序)，Dropout 在训练时不断改变 BN 的输入分布，导致 BN 计算出的 running_mean 和 running_var 是在一个不断震荡的输入分布上估计的。而在推理时， Dropout 被关闭，BN 的输入分布突然变得稳定且与训练时不同，这会导致输出方差不一致，从而影响模型表现。

推荐的顺序是： 线性层 -> BatchNorm -> 激活函数 -> Dropout 保证了方差一致性。

另外，必须严格且正确地使用 model.train() 和 model.eval()。

训练阶段 ( model.train() )： Dropout：处于激活状态，随机丢弃神经元。 BatchNorm：使用当前小批量的均值和方差进行标准化，并更新 running_mean 和 running_var。
推理阶段 ( model.eval() )： Dropout：被关闭，所有神经元都参与计算 (在 inverted dropout 下，无需手动缩放)。 BatchNorm：停止更新 running_mean 和 running_var，并直接使用它们进行标准化。

4. 描述 softmax 在数值上如何防止溢出 (给出 log‑sum‑exp trick 公式)

Softmax 函数：

在计算时，如果值很大，可能会超过浮点数能表示的最大值 (inf)，这就是数值溢出。

解决方法：对输入向量进行平移不会改变 softmax 的结果。

因为 M 是最大值，所以最大为 1，从而避免了溢出。

Log‑Sum‑Exp Trick： 这个技巧用于在计算交叉熵损失 (需要计算 ) 时保持数值稳定。交叉熵损失涉及：

先平移指数值，计算其和的对数，再加上最大值M，就得到了一个数值稳定的结果。

5. 为什么交叉熵损失比 MSE 更适合分类任务？给出两种损失对 sigmoid 饱和区梯度的对比

MSE 的损失：

它的梯度：

对于分类任务，输出通常用 sigmoid 激活函数，其导数：

6. 说明 He 初始化与 Xavier 初始化的推导差异，指出哪种更适合 ReLU

推导差异：Xavier 为线性对称激活函数设计，假设前向和反向方差不变。He 为 ReLU 设计，在其推导中考虑了 ReLU 会使一半神经元的激活值为零的特性，因此将其输出方差修正为原来的一半 (这就是公式中分子是 2 的原因)。

更适合 ReLU：He 初始化 explicitly 为 ReLU 家族设计，因此它毫无疑问是更适合 ReLU 的初始化方法。

7. 解释 BatchNorm 在 FC 网络中的 "可学习参数" 和的作用，写出测试阶段的计算公式

BN 的核心标准化操作：

这会将数据强制变为均值为 0、方差为 1 的分布。

问题：如果每一层都是这样的分布，可能会降低网络的表达能力。例如，sigmoid 函数的非线性体现在 0 附近，如果数据总是被规范到 0 均值 1 方差，可能会使激活函数失去非线性。

变换输出：

网络可以通过学习到合适的和，来决定每一层标准化的程度。例如，如果学到且，那么 BN 层就完全等价于恒等映射，恢复了原始分布。这赋予了网络极大的灵活性。

测试阶段计算公式：

8. 如果训练 6 层 FC 时 loss 在前 5 个 epoch 不降，你会如何分步骤排查？(至少 4 步)

检查数据和标签 (最基础) 确认输入数据是否被正确预处理 (如归一化到 $0,1$ 或 $-1,1$ )。检查数据加载和增强 (Data Augmentation) 流程是否有误，导致输入了错误或无意义的数据。绘制一个极小子集 (如 5‑10 个样本) 的损失曲线。如果在一个极小的、模型肯定能过拟合的数据集上 loss 仍然不下降，问题极大概率出在代码 / 数据上，而不是架构上。
检查模型结构和前向传播 打印或可视化模型结构，确认层数、每层的输入输出维度是否正确。使用一个简单的输入样例，手动检查前向传播过程，确保数据能顺利流过所有层，输出形状符合预期。检查激活函数是否应用正确。
检查优化过程 (梯度和参数更新) 检查损失函数：确认损失函数的计算是否正确，输入 (如预测和标签) 的顺序是否正确。检查梯度：计算并打印网络中部和前端权重的梯度范数。如果梯度为 0 或接近 0，说明出现了梯度消失。检查学习率：学习率是否设置得过小？尝试调大几个数量级 (如从 1e‑5 调到 0.1) 进行实验。同时，学习率也可能过大导致 loss 在最优值附近震荡而非下降。检查优化器：确认优化器 (如 SGD、Adam) 是否正确初始化，参数 (如动量) 是否正确设置。
检查初始化 如果梯度很小，很可能是初始化不当。默认的初始化可能不适合你的网络深度和激活函数。尝试换用 He 初始化或 Xavier 初始化。尝试加入 BatchNorm 层，它可以缓解糟糕初始化带来的问题。
(Bonus) 简化问题 移除一些复杂组件 (如 Dropout、正则化)，先用一个最简单的模型训练，看 loss 是否下降。如果简单模型可以工作，再逐步添加组件，定位是哪个组件引起了问题。