Batch Normalization和 Layer Normalization

Batch Normalization和 Layer Normalization

Batch Normalization (BN) 和 Layer Normalization (LN) 是深度学习中常用的归一化技术,它们的主要目的是加速训练、提高模型的收敛速度和稳定性。以下是对这两种归一化技术的详细讲解:


1. Batch Normalization (BN)

定义

Batch Normalization 是一种在深度神经网络中对每个小批量(mini-batch)数据进行归一化的技术。它通过对每个特征维度(channel)进行标准化,使得每一层的输入分布更加稳定。

公式

对于一个 mini-batch 的输入 x = {x_1, x_2, \\dots, x_m} ,BN 的计算公式如下:

μ B = 1 m ∑ i = 1 m x i (均值) \mu_B = \frac{1}{m} \sum_{i=1}^m x_i \quad \text{(均值)} μB=m1i=1∑mxi(均值)
σ B 2 = 1 m ∑ i = 1 m ( x i − μ B ) 2 (方差) \sigma_B^2 = \frac{1}{m} \sum_{i=1}^m (x_i - \mu_B)^2 \quad \text{(方差)} σB2=m1i=1∑m(xi−μB)2(方差)
x ^ i = x i − μ B σ B 2 + ϵ (标准化) \hat{x}_i = \frac{x_i - \mu_B}{\sqrt{\sigma_B^2 + \epsilon}} \quad \text{(标准化)} x^i=σB2+ϵ xi−μB(标准化)
y i = γ x ^ i + β (缩放和平移) y_i = \gamma \hat{x}_i + \beta \quad \text{(缩放和平移)} yi=γx^i+β(缩放和平移)

其中:

  • \\mu_B \\sigma_B\^2 是当前 mini-batch 的均值和方差。
  • \\epsilon 是一个小常数,防止除零错误。
  • \\gamma \\beta 是可学习的参数,用于缩放和平移标准化后的值。

作用

  1. 加速训练:通过标准化输入,减少梯度消失和梯度爆炸问题,加速模型收敛。
  2. 提高泛化能力:BN 引入了噪声(mini-batch 的统计信息),具有一定的正则化效果,减少过拟合。
  3. 允许使用更高的学习率:BN 使得网络对学习率的敏感性降低。

适用场景

  • 主要用于卷积神经网络(CNN)和全连接网络(FCN)。
  • 在图像分类、目标检测、语义分割等任务中广泛使用。

局限性

  1. 对 mini-batch 大小敏感:当 mini-batch 较小时,BN 的统计信息不准确,可能导致性能下降。
  2. 不适合序列数据:在 RNN 或 Transformer 等序列模型中,BN 的效果较差,因为序列数据的特征维度不一致。

2. Layer Normalization (LN)

定义

Layer Normalization 是一种对单个样本的所有特征维度进行归一化的技术。它通过对每个样本的所有特征进行标准化,使得每个样本的特征分布更加稳定。

公式

对于一个样本的输入 x = {x_1, x_2, \\dots, x_n} ,LN 的计算公式如下:

μ L = 1 n ∑ i = 1 n x i (均值) \mu_L = \frac{1}{n} \sum_{i=1}^n x_i \quad \text{(均值)} μL=n1i=1∑nxi(均值)
σ L 2 = 1 n ∑ i = 1 n ( x i − μ L ) 2 (方差) \sigma_L^2 = \frac{1}{n} \sum_{i=1}^n (x_i - \mu_L)^2 \quad \text{(方差)} σL2=n1i=1∑n(xi−μL)2(方差)
x ^ i = x i − μ L σ L 2 + ϵ (标准化) \hat{x}_i = \frac{x_i - \mu_L}{\sqrt{\sigma_L^2 + \epsilon}} \quad \text{(标准化)} x^i=σL2+ϵ xi−μL(标准化)
y i = γ x ^ i + β (缩放和平移) y_i = \gamma \hat{x}_i + \beta \quad \text{(缩放和平移)} yi=γx^i+β(缩放和平移)

其中:

  • \\mu_L \\sigma_L\^2 是当前样本的均值和方差。
  • \\epsilon 是一个小常数,防止除零错误。
  • \\gamma \\beta 是可学习的参数,用于缩放和平移标准化后的值。

作用

  1. 加速训练:通过标准化输入,减少梯度消失和梯度爆炸问题,加速模型收敛。
  2. 适合序列数据:LN 不依赖 mini-batch 的统计信息,因此适合处理变长序列数据(如 NLP 任务)。
  3. 提高稳定性:在 mini-batch 较小时,LN 的表现优于 BN。

适用场景

  • 主要用于循环神经网络(RNN)、Transformer 等序列模型。
  • 在自然语言处理(NLP)任务中广泛使用。

局限性

  1. 不适合图像数据:在 CNN 中,LN 的效果通常不如 BN,因为图像数据的特征维度(channel)具有不同的语义含义。

BN 和 LN 的区别

特性 Batch Normalization (BN) Layer Normalization (LN)
归一化维度 对每个特征维度(channel)进行归一化 对每个样本的所有特征维度进行归一化
依赖 mini-batch 依赖 mini-batch 的统计信息 不依赖 mini-batch 的统计信息
适用场景 图像分类、目标检测等任务 自然语言处理、序列模型等任务
mini-batch 敏感性 对 mini-batch 大小敏感 对 mini-batch 大小不敏感
计算方式 计算 mini-batch 的均值和方差 计算单个样本的均值和方差

总结

  • Batch Normalization (BN)

    • 适合图像数据和固定大小的 mini-batch。
    • 通过 mini-batch 的统计信息进行归一化,加速训练并提高泛化能力。
  • Layer Normalization (LN)

    • 适合序列数据和变长数据。
    • 通过单个样本的统计信息进行归一化,适合 mini-batch 较小或序列模型。

选择哪种归一化技术取决于具体的任务和数据类型。在图像任务中,BN 是首选;在序列任务中,LN 更为合适。

相关推荐
网安INF2 小时前
深度学习中的逻辑回归:从原理到Python实现
人工智能·python·深度学习·算法·逻辑回归
CoovallyAIHub2 小时前
RTMPose:重新定义多人姿态估计的“实时”标准!
深度学习·算法·计算机视觉
禺垣3 小时前
支持向量机(SVM)分类
机器学习
禺垣3 小时前
协同过滤推荐算法
机器学习
这里有鱼汤3 小时前
90%的人都会搞错的XGBoost预测逻辑,未来到底怎么预测才对?
后端·机器学习
小庞在加油4 小时前
《dlib库中的聚类》算法详解:从原理到实践
c++·算法·机器学习·数据挖掘·聚类
hjs_deeplearning4 小时前
认知篇#10:何为分布式与多智能体?二者联系?
人工智能·分布式·深度学习·学习·agent·智能体
瑶光守护者4 小时前
【卫星通信】超低比特率语音编解码器(ULBC)的信道特性评估
深度学习·华为·卫星通信·3gpp·ulbc
蓝婷儿5 小时前
Python 机器学习核心入门与实战进阶 Day 1 - 分类 vs 回归
python·机器学习·分类
程序员阿超的博客7 小时前
Python 数据分析与机器学习入门 (八):用 Scikit-Learn 跑通第一个机器学习模型
python·机器学习·数据分析·scikit-learn·入门教程·python教程