209_深度学习的生存哲学：数值稳定性、梯度爆炸与 Xavier 初始化

在构建深度网络时，随着层数的增加，梯度在反向传播过程中会经过多次矩阵乘法。如果处理不当，这些梯度要么会变得无穷大（爆炸），要么会趋近于零（消失）。本篇将深入探讨如何通过合理的初始化 和激活函数来驯服深度网络。

1. 数值稳定性的两大杀手

① 梯度消失 (Gradient Vanishing)

• 现象：靠近输入层的参数更新极慢，模型难以学习。
• 原因：常发生在使用 Sigmoid 激活函数时。当输入较大或较小时，Sigmoid 的导数接近 0，多层累乘后梯度迅速衰减。

② 梯度爆炸 (Gradient Explosion)

• 现象 ：Loss 突然变成 NaN，权重更新步长过大导致模型崩溃。
• 原因：初始权重过大或层数过深，导致梯度在传播过程中呈指数级增长。

---

2. 让模型稳如泰山的秘诀：参数初始化

为了让梯度在各层之间既不爆炸也不消失，我们需要让每一层输出的方差保持一致。

Xavier 初始化 (Xavier Initialization)

这是针对线性激活函数（或中段接近线性的函数，如 Tanh）设计的经典初始化方案。

• 核心思想：使每一层输出的方差等于输入的方差。
• 采样范围 ：对于有 个输入和 个输出的层，权重从以下均匀分布中采样：

---

3. 激活函数的影响

文件对比了不同激活函数对稳定性的贡献：

• ReLU：由于其在正区间的导数恒为 1，极大缓解了梯度消失问题，是目前深度网络的首选。
• Sigmoid/Tanh：需要配合精细的初始化（如 Xavier）才能在深层网络中工作。

---

4. 代码实战：在 PyTorch 中自定义初始化

虽然 PyTorch 的 nn.Linear 自带默认初始化，但在特定场景下，手动指定初始化策略至关重要。

Python

import torch
from torch import nn

# 定义一个简单的多层感知机
net = nn.Sequential(nn.Linear(784, 256), nn.ReLU(), nn.Linear(256, 10))

# 定义初始化函数
def init_weights(m):
    if type(m) == nn.Linear:
        # 使用 Xavier 均匀分布初始化权重
        nn.init.xavier_uniform_(m.weight)
        # 偏置通常初始化为 0
        nn.init.zeros_(m.bias)

# 应用初始化
net.apply(init_weights)

# 查看第一层的权重示例
print(net[0].weight[0][:5])

---

5. 总结：维持稳定性的建议

1. 检查激活函数：优先使用 ReLU 系列。
2. 合理初始化：对于普通层使用 Xavier，对于含有 ReLU 的深层网络可以使用 He 初始化（Kaiming Initialization）。
3. 梯度裁剪 (Gradient Clipping)：如果遇到梯度爆炸，可以在优化器更新前强行限制梯度的范数。
4. 使用归一化：如 Batch Normalization（批量归一化），从根本上重置每一层的分布。

---

💡 学习小结

数值稳定性是深度学习的底层逻辑。理解了为什么梯度会消失或爆炸，你就能明白为什么初始化策略和激活函数的选择不仅仅是"经验之谈"，而是严谨的数学平衡艺术。