Batch Normalization和 Layer Normalization
Batch Normalization (BN) 和 Layer Normalization (LN) 是深度学习中常用的归一化技术，它们的主要目的是加速训练、提高模型的收敛速度和稳定性。以下是对这两种归一化技术的详细讲解：
1. Batch Normalization (BN)
定义
Batch Normalization 是一种在深度神经网络中对每个小批量（mini-batch）数据进行归一化的技术。它通过对每个特征维度（channel）进行标准化，使得每一层的输入分布更加稳定。
公式
对于一个 mini-batch 的输入 x = {x_1, x_2, \\dots, x_m} ，BN 的计算公式如下：
μ B = 1 m ∑ i = 1 m x i (均值) \mu_B = \frac{1}{m} \sum_{i=1}^m x_i \quad \text{(均值)} μB=m1i=1∑mxi(均值)
σ B 2 = 1 m ∑ i = 1 m ( x i − μ B ) 2 (方差) \sigma_B^2 = \frac{1}{m} \sum_{i=1}^m (x_i - \mu_B)^2 \quad \text{(方差)} σB2=m1i=1∑m(xi−μB)2(方差)
x ^ i = x i − μ B σ B 2 + ϵ (标准化) \hat{x}_i = \frac{x_i - \mu_B}{\sqrt{\sigma_B^2 + \epsilon}} \quad \text{(标准化)} x^i=σB2+ϵ xi−μB(标准化)
y i = γ x ^ i + β (缩放和平移) y_i = \gamma \hat{x}_i + \beta \quad \text{(缩放和平移)} yi=γx^i+β(缩放和平移)
其中：
- \\mu_B 和 \\sigma_B\^2 是当前 mini-batch 的均值和方差。
- \\epsilon 是一个小常数，防止除零错误。
- \\gamma 和 \\beta 是可学习的参数，用于缩放和平移标准化后的值。
作用
- 加速训练：通过标准化输入，减少梯度消失和梯度爆炸问题，加速模型收敛。
- 提高泛化能力：BN 引入了噪声（mini-batch 的统计信息），具有一定的正则化效果，减少过拟合。
- 允许使用更高的学习率：BN 使得网络对学习率的敏感性降低。
适用场景
- 主要用于卷积神经网络（CNN）和全连接网络（FCN）。
- 在图像分类、目标检测、语义分割等任务中广泛使用。
局限性
- 对 mini-batch 大小敏感：当 mini-batch 较小时，BN 的统计信息不准确，可能导致性能下降。
- 不适合序列数据：在 RNN 或 Transformer 等序列模型中，BN 的效果较差，因为序列数据的特征维度不一致。
2. Layer Normalization (LN)
定义
Layer Normalization 是一种对单个样本的所有特征维度进行归一化的技术。它通过对每个样本的所有特征进行标准化，使得每个样本的特征分布更加稳定。
公式
对于一个样本的输入 x = {x_1, x_2, \\dots, x_n} ，LN 的计算公式如下：
μ L = 1 n ∑ i = 1 n x i (均值) \mu_L = \frac{1}{n} \sum_{i=1}^n x_i \quad \text{(均值)} μL=n1i=1∑nxi(均值)
σ L 2 = 1 n ∑ i = 1 n ( x i − μ L ) 2 (方差) \sigma_L^2 = \frac{1}{n} \sum_{i=1}^n (x_i - \mu_L)^2 \quad \text{(方差)} σL2=n1i=1∑n(xi−μL)2(方差)
x ^ i = x i − μ L σ L 2 + ϵ (标准化) \hat{x}_i = \frac{x_i - \mu_L}{\sqrt{\sigma_L^2 + \epsilon}} \quad \text{(标准化)} x^i=σL2+ϵ xi−μL(标准化)
y i = γ x ^ i + β (缩放和平移) y_i = \gamma \hat{x}_i + \beta \quad \text{(缩放和平移)} yi=γx^i+β(缩放和平移)
其中：
- \\mu_L 和 \\sigma_L\^2 是当前样本的均值和方差。
- \\epsilon 是一个小常数，防止除零错误。
- \\gamma 和 \\beta 是可学习的参数，用于缩放和平移标准化后的值。
作用
- 加速训练：通过标准化输入，减少梯度消失和梯度爆炸问题，加速模型收敛。
- 适合序列数据：LN 不依赖 mini-batch 的统计信息，因此适合处理变长序列数据（如 NLP 任务）。
- 提高稳定性：在 mini-batch 较小时，LN 的表现优于 BN。
适用场景
- 主要用于循环神经网络（RNN）、Transformer 等序列模型。
- 在自然语言处理（NLP）任务中广泛使用。
局限性
- 不适合图像数据：在 CNN 中，LN 的效果通常不如 BN，因为图像数据的特征维度（channel）具有不同的语义含义。
BN 和 LN 的区别
| 特性 | Batch Normalization (BN) | Layer Normalization (LN) |
|---|---|---|
| 归一化维度 | 对每个特征维度（channel）进行归一化 | 对每个样本的所有特征维度进行归一化 |
| 依赖 mini-batch | 依赖 mini-batch 的统计信息 | 不依赖 mini-batch 的统计信息 |
| 适用场景 | 图像分类、目标检测等任务 | 自然语言处理、序列模型等任务 |
| mini-batch 敏感性 | 对 mini-batch 大小敏感 | 对 mini-batch 大小不敏感 |
| 计算方式 | 计算 mini-batch 的均值和方差 | 计算单个样本的均值和方差 |
总结
-
Batch Normalization (BN)：
- 适合图像数据和固定大小的 mini-batch。
- 通过 mini-batch 的统计信息进行归一化，加速训练并提高泛化能力。
-
Layer Normalization (LN)：
- 适合序列数据和变长数据。
- 通过单个样本的统计信息进行归一化，适合 mini-batch 较小或序列模型。
选择哪种归一化技术取决于具体的任务和数据类型。在图像任务中，BN 是首选；在序列任务中，LN 更为合适。