LayerNorm和BatchNorm区别

以 NLP中常见的输入格式 B=2, L=3, D=2 (B=批量大小,L=序列长度,D=特征维度)为例,可直观对比 LayerNorm 与 BatchNorm 的核心差异,二者的本质区别是归一化时"统计量的计算范围"完全不同。

示例前提:输入数据

假设模型某层输入为 2 个样本(B=2),每个样本是长度为 3 的序列(L=3),每个序列元素有 2 维特征(D=2),输入数据如下(可理解为 2 个句子,每句 3 个词,每个词用 2 维向量表示):

lua 复制代码
# 输入 X: [B, L, D] = [2, 3, 2]
X = [
  [[1, 2],  # 样本1(句子1):词1(1,2)、词2(3,4)、词3(5,6)
   [3, 4],
   [5, 6]],
  [[7, 8],  # 样本2(句子2):词1(7,8)、词2(9,10)、词3(11,12)
   [9, 10],
   [11, 12]]
]

1. BatchNorm 的计算逻辑(同特征,跨样本)

BatchNorm 按"单个特征维度 "分组,计算所有样本在该特征上的全局统计量 (均值/标准差),再用该统计量归一化所有样本的这个特征。

步骤拆解(以特征维度 D=0 和 D=1 为例):

  1. 按特征维度分组 :
    • 特征 D=0:收集所有样本、所有序列位置的 D=0 特征值 → 1, 3, 5, 7, 9, 11
    • 特征 D=1:收集所有样本、所有序列位置的 D=1 特征值 → 2, 4, 6, 8, 10, 12
  2. 计算每组统计量 :
    • D=0 均值:(1+3+5+7+9+11)/6 = 6;标准差 ≈ 3.464
    • D=1 均值:(2+4+6+8+10+12)/6 = 7;标准差 ≈ 3.464
  3. 归一化 :所有样本的 D=0 特征用 D=0 的统计量归一化,D=1 同理。
    例如样本1词1的 D=0 归一化后:(1-6)/3.464 ≈ -1.443,D=1 归一化后:(2-7)/3.464 ≈ -1.443。

2. LayerNorm 的计算逻辑(同样本,跨特征)

LayerNorm 按"单个样本 "分组,计算该样本所有序列位置、所有特征维度的统计量 ,再用该统计量归一化这个样本的所有数据。

步骤拆解(以样本1和样本2为例):

  1. 按样本分组 :
    • 样本1:收集该样本所有数据 → 1, 2, 3, 4, 5, 6
    • 样本2:收集该样本所有数据 → 7, 8, 9, 10, 11, 12
  2. 计算每组统计量 :
    • 样本1均值:(1+2+3+4+5+6)/6 = 3.5;标准差 ≈ 1.708
    • 样本2均值:(7+8+9+10+11+12)/6 = 9.5;标准差 ≈ 1.708
  3. 归一化 :样本1的所有数据用样本1的统计量归一化,样本2同理。
    例如样本1词1的 D=0 归一化后:(1-3.5)/1.708 ≈ -1.464,D=1 归一化后:(2-3.5)/1.708 ≈ -0.878。

3. 核心区别总结(基于示例)

对比维度 BatchNorm(批量归一化) LayerNorm(层归一化)
统计量计算范围 跨所有样本 ,仅针对单个特征维度(如示例中跨2个样本算D=0的均值) 仅针对单个样本 ,跨所有特征维度(如示例中仅用样本1的数据算均值)
依赖批量大小 强依赖:若B=1,无法跨样本计算统计量,直接失效 不依赖:B=1时,仍可计算单个样本的所有特征统计量
适用场景 示例外的CV任务(如图像通道固定,B易做大) 示例中的NLP任务(如句子长度可变,B常较小)
相关推荐
智联视频超融合平台4 小时前
视频 AI 的误报之战,正在从调参数卷到改架构
人工智能·大模型·边缘计算·视频监控·安防
水如烟5 小时前
孤能子视角:智能的边界不在算法强弱,在可形式化性——从概率法到因果推理,选择池的边界一直在那里
人工智能
万里侯6 小时前
日志聚类之后别把 noise 扔掉:降噪应该改变视图,不抹掉证据
人工智能·微服务·ai·容器·k8s
澹锦汐6 小时前
纯前端秋日银杏与枫叶落叶色板智能聚类器:基于 K-Means 色彩量化与直方图自动配方提取
前端·人工智能·ai·语言模型·vue·react·k-means
71777714 小时前
国内 AI 研发效能工具怎么选:2026 年基于公开信息的选型框架与 Gitee 实践
人工智能·gitee
Csvn14 小时前
换供应商要改一遍代码?把模型接入收进一层网关(C04)
人工智能·aigc·agent
孟健15 小时前
开源AutoClip切直播:1小时48分出19段,整月API只花0.08元
人工智能·开源·aigc
翰墨之道15 小时前
AI日报:豆包工作ARR超20亿,GPT-6.2跑分与实测割裂
人工智能·gpt·数据挖掘
Maynor99615 小时前
Trymodel 使用介绍:一个平台同时用 Claude、GPT、Gemini 和 Grok
人工智能·gpt·ai·程序员·教程·claude·语音