在构建深度网络时，随着层数的增加，梯度在反向传播过程中会经过多次矩阵乘法。如果处理不当，这些梯度要么会变得无穷大（爆炸），要么会趋近于零（消失）。本篇将深入探讨如何通过合理的初始化 和激活函数来驯服深度网络。
1. 数值稳定性的两大杀手
① 梯度消失 (Gradient Vanishing)
- 现象：靠近输入层的参数更新极慢，模型难以学习。
- 原因：常发生在使用 Sigmoid 激活函数时。当输入较大或较小时，Sigmoid 的导数接近 0，多层累乘后梯度迅速衰减。
② 梯度爆炸 (Gradient Explosion)
- 现象 ：Loss 突然变成
NaN，权重更新步长过大导致模型崩溃。 - 原因：初始权重过大或层数过深，导致梯度在传播过程中呈指数级增长。
2. 让模型稳如泰山的秘诀：参数初始化
为了让梯度在各层之间既不爆炸也不消失，我们需要让每一层输出的方差保持一致。
Xavier 初始化 (Xavier Initialization)
这是针对线性激活函数（或中段接近线性的函数，如 Tanh）设计的经典初始化方案。
- 核心思想：使每一层输出的方差等于输入的方差。
- 采样范围 ：对于有
个输入和
3. 激活函数的影响
文件对比了不同激活函数对稳定性的贡献：
- ReLU：由于其在正区间的导数恒为 1，极大缓解了梯度消失问题，是目前深度网络的首选。
- Sigmoid/Tanh：需要配合精细的初始化（如 Xavier）才能在深层网络中工作。
4. 代码实战：在 PyTorch 中自定义初始化
虽然 PyTorch 的 nn.Linear 自带默认初始化，但在特定场景下，手动指定初始化策略至关重要。
Python
import torch
from torch import nn
# 定义一个简单的多层感知机
net = nn.Sequential(nn.Linear(784, 256), nn.ReLU(), nn.Linear(256, 10))
# 定义初始化函数
def init_weights(m):
if type(m) == nn.Linear:
# 使用 Xavier 均匀分布初始化权重
nn.init.xavier_uniform_(m.weight)
# 偏置通常初始化为 0
nn.init.zeros_(m.bias)
# 应用初始化
net.apply(init_weights)
# 查看第一层的权重示例
print(net[0].weight[0][:5])5. 总结：维持稳定性的建议
- 检查激活函数：优先使用 ReLU 系列。
- 合理初始化：对于普通层使用 Xavier，对于含有 ReLU 的深层网络可以使用 He 初始化（Kaiming Initialization）。
- 梯度裁剪 (Gradient Clipping)：如果遇到梯度爆炸，可以在优化器更新前强行限制梯度的范数。
- 使用归一化：如 Batch Normalization（批量归一化），从根本上重置每一层的分布。
💡 学习小结
数值稳定性是深度学习的底层逻辑。理解了为什么梯度会消失或爆炸，你就能明白为什么初始化策略和激活函数的选择不仅仅是"经验之谈"，而是严谨的数学平衡艺术。