梯度消失和梯度爆炸
1. 梯度消失（Vanishing Gradient）
定义： 梯度消失是指在反向传播过程中，梯度逐渐变得非常小，导致前面几层的权重更新非常缓慢，甚至几乎不更新，从而影响网络的学习过程。特别是在深层网络中，梯度在层与层之间传递时，可能会因为激活函数（如sigmoid或tanh）等的作用而变得极其小，导致前面层的权重几乎没有更新。
原因：
- 激活函数选择：像sigmoid或tanh这些激活函数的导数在输入值较大或较小时会趋近于0。这会导致梯度在反向传播时逐渐减小，特别是在深层网络中，层数越多，梯度越小。
- 权重初始化不当：如果网络的权重初始化得很小，反向传播时，梯度会通过每层传递时被"压缩"得越来越小，最终导致梯度消失。
后果：
- 网络的前几层几乎不学习，因为它们的梯度接近于零。
- 训练过程非常缓慢，甚至可能停滞。
预防方法：
- 使用ReLU激活函数：ReLU（Rectified Linear Unit）及其变种（如Leaky ReLU、ELU）在输入大于0时具有常数梯度，能够避免梯度消失问题。
- 合适的权重初始化：使用Xavier初始化（对于sigmoid和tanh）或He初始化（对于ReLU）等方法，能够确保权重值在训练初期处于合适的范围，避免梯度消失。
- 梯度裁剪：虽然梯度裁剪通常用于防止梯度爆炸，但它也可以通过控制梯度的范围，避免梯度在反向传播中过小，从而防止梯度消失。
2. 梯度爆炸（Exploding Gradient）
定义： 梯度爆炸是指在反向传播过程中，梯度的值变得非常大，导致网络的权重更新过大，进而使得模型的训练不稳定，甚至出现权重值变得非常大的情况，导致模型无法收敛。
原因：
- 激活函数选择：在某些激活函数（如sigmoid或tanh）未正则化的情况下，尤其是在深层网络中，梯度可能会在每一层不断放大，最终导致梯度爆炸。
- 权重初始化不当：如果权重初始化得过大，反向传播时梯度可能会被"放大"得很大，从而导致梯度爆炸。
后果：
- 权重更新过大，导致模型的参数剧烈变化，网络的学习过程不稳定，甚至会导致训练失败。
- 损失函数可能变得NaN（Not a Number），无法继续训练。
预防方法：
- 梯度裁剪：通过对梯度值进行限制，将其裁剪到一个设定的阈值，从而避免梯度爆炸。这是防止梯度爆炸最常用的方法。
- 合适的权重初始化：使用合适的初始化方法，如Xavier初始化和He初始化，能够确保权重的大小适中，减少梯度爆炸的风险。
- 使用适当的激活函数：ReLU等激活函数在正向传播中对输入进行限制，能够避免梯度爆炸。某些变种如Leaky ReLU、ELU等也有助于缓解这一问题。
3. 总结：如何预防梯度消失和梯度爆炸
- 选择合适的激活函数：使用ReLU或其变种（如Leaky ReLU、ELU等），可以有效防止梯度消失，并且在一定程度上减少梯度爆炸的可能性。
- 适当的权重初始化：使用Xavier或He初始化等方法，可以避免权重值过大或过小，从而减少梯度消失和梯度爆炸的风险。
- 梯度裁剪：当发生梯度爆炸时，采用梯度裁剪可以限制梯度的范围，避免参数更新过大，保证训练过程的稳定性。
- 使用Batch Normalization：Batch Normalization通过标准化每一层的输入，减小了梯度消失和爆炸的风险，稳定了训练过程。
Batch Normalization
Batch Normalization（批归一化）是一种在神经网络训练中用于加速训练和提高模型稳定性的方法。它通过对每一层的输入进行标准化处理，使得输入数据的均值为0，方差为1，从而减轻了梯度消失和梯度爆炸的问题。下面是Batch Normalization 的流程和原因，以及训练和测试的区别：
1. Batch Normalization 的流程
-
计算 mini-batch 的均值和方差：
- 对于一个批次中的每个特征（每个神经元的输入），计算该批次内所有样本的均值和方差：μB=1m∑i=1mxiμB=m1i=1∑mxiσB2=1m∑i=1m(xi−μB)2σB2=m1i=1∑m(xi−μB)2 其中，mm 是批次大小，xixi 是当前批次的样本。
-
标准化： 对输入进行标准化处理，使其均值为0，方差为1：
x^i=xi−μBσB2+ϵx^i=σB2+ϵxi−μB
其中，ϵϵ 是一个非常小的常数，用于防止除零错误。
-
缩放和平移： 然后，应用一个可学习的缩放参数 γγ 和平移参数 ββ（这两个参数是通过反向传播学习得到的）：
yi=γx^i+βyi=γx^i+β
这样，标准化后的数据通过学习得到的缩放和平移，确保了网络可以保留输入特征的分布和尺度。
2. 为什么 Batch Normalization 有效
-
加速收敛：通过对每一层输入进行标准化，减少了不同特征的尺度差异，使得优化过程更加稳定。网络能够在较大的学习率下训练，从而加速收敛。
-
缓解梯度消失/梯度爆炸：标准化每一层的输入，使得梯度在反向传播时不容易消失或爆炸，尤其是对于深层网络而言，梯度传递更加稳定。
-
减轻内部协变量偏移（Internal Covariate Shift）：训练过程中，每一层的输入数据分布会因为前面层的参数更新而发生变化，这种变化会导致模型收敛速度变慢。Batch Normalization 通过减少这种数据分布变化，帮助网络更快收敛。
-
正则化作用：Batch Normalization 可以看作是一种正则化方法，尤其是在小批次训练时，它引入了一定的噪声，从而减少过拟合的可能性。
3. 训练和测试时的区别
在训练 和测试阶段，Batch Normalization 的行为略有不同：
-
训练阶段：
- 对每个小批次的输入数据计算均值和方差，进行标准化。每一层的输出经过缩放和平移处理。
- 均值和方差是基于当前小批次数据动态计算的，因此它们会随着每个批次的不同而发生变化。
-
测试阶段：
- 使用训练阶段学到的全局均值和方差：在训练过程中，Batch Normalization 记录了每一层输入的均值和方差的移动平均值。在测试阶段，使用这些统计量（而不是当前测试批次的统计量）来进行标准化。
- 这种做法的原因是，测试时的输入数据批次往往比训练时的小，并且不适合基于小批次计算均值和方差。使用训练时的统计量能够使测试阶段更加稳定和一致。
总结：
- 训练阶段：计算当前小批次的均值和方差，进行标准化。
- 测试阶段：使用训练阶段计算的全局均值和方差，进行标准化。
Batch Normalization 通过减小内部协变量偏移，加速网络的训练过程，稳定梯度流，并提供一定的正则化效果，从而在深度学习中被广泛使用。