layernorm笔记

文章目录

layer norm的解释

二维

红色为batchnorm,蓝色为layer norm

batchnorm对每一个特征算均值和方差

layer norm对每一个批次算均值和方差

三维

红色为batchnorm,蓝色为layer norm

batchnorm对每个句子的第K个词做归一化

layer norm对每个句子的每个词做归一化

batchnorm和layernorm主要的区别

在算均值和方差的上面

batchnorm

理论算矩阵中阴影面积中的方差和均值,实际算整个矩阵中的方差和均值阴影部分的长度为小批量中的句子长度,用0补全

  • 均值和方差波动比较大

  • 预测时,如果预测样本的长度超过训练样本的最大长度,使用训练的均值和方差效果可能不是那么好
    layernorm

    矩阵中阴影部分的面积算方差和均值

    每个样本(每个句子里面自己所有的词)自己算均值和方差,不需要存一个全局的均值和方差,因为是对每个样本做的norm。

为什么要在序列转录模型中使用layer norm?

在时序的样本中,每个样本的长度可能发生变化

源自李沐论文讲解

相关推荐
β添砖java14 分钟前
Transformer大白话学习笔记
笔记·学习·transformer
希和20271 小时前
代码小白笔记:蓝桥杯彩灯控制代码逐段讲解
笔记·mongodb·蓝桥杯
希和20271 小时前
江科大 51 单片机课程笔记:XPT2046 触摸/AD 采集与 LCD1602 显示
笔记·单片机·mongodb
小七在进步19 小时前
string的实现(1)
c++·笔记·visual studio
保利威视频SaaS小张1 天前
企业直播接入笔记 12|企业内训直播怎么做签到和学时统计,防挂机这件事比想象中难
java·前端·数据库·笔记·视频云·polvy·polyv
lcj25111 天前
[C++] C++11
开发语言·c++·笔记
一条破秋裤1 天前
【1117】【内存资源管控】【笔记】
android·笔记
qingwufeiyang_5301 天前
Docker学习笔记2
笔记·学习
Z21-X1 天前
云原生运维学习笔记:从操作系统底层到 Kubernetes 集群的深度实践
运维·笔记·学习·云原生·kubernetes
星恒随风1 天前
MySQL 从零入门(七):索引原理与 B+ 树详解——从磁盘 I/O 到 InnoDB 聚簇索引
linux·服务器·数据库·笔记·mysql