layernorm笔记

文章目录

layer norm的解释

二维

红色为batchnorm,蓝色为layer norm

batchnorm对每一个特征算均值和方差

layer norm对每一个批次算均值和方差

三维

红色为batchnorm,蓝色为layer norm

batchnorm对每个句子的第K个词做归一化

layer norm对每个句子的每个词做归一化

batchnorm和layernorm主要的区别

在算均值和方差的上面

batchnorm

理论算矩阵中阴影面积中的方差和均值,实际算整个矩阵中的方差和均值阴影部分的长度为小批量中的句子长度,用0补全

  • 均值和方差波动比较大

  • 预测时,如果预测样本的长度超过训练样本的最大长度,使用训练的均值和方差效果可能不是那么好
    layernorm

    矩阵中阴影部分的面积算方差和均值

    每个样本(每个句子里面自己所有的词)自己算均值和方差,不需要存一个全局的均值和方差,因为是对每个样本做的norm。

为什么要在序列转录模型中使用layer norm?

在时序的样本中,每个样本的长度可能发生变化

源自李沐论文讲解

相关推荐
I'm写代码1 分钟前
el-tree树形结构笔记
javascript·vue.js·笔记
Andy杨1 小时前
20250707-4-Kubernetes 集群部署、配置和验证-K8s基本资源概念初_笔记
笔记·容器·kubernetes
UQI-LIUWJ4 小时前
李宏毅LLM笔记: AI Agent
人工智能·笔记
ouliten4 小时前
cuda编程笔记(6)--流
笔记
Love__Tay4 小时前
笔记/云计算基础
笔记·学习·云计算
李元豪5 小时前
【行云流水ai笔记】粗粒度控制:推荐CTRL、GeDi 细粒度/多属性控制:推荐TOLE、GPT-4RL
人工智能·笔记
特种加菲猫6 小时前
指尖上的魔法:优雅高效的Linux命令手册
linux·笔记
wuxuanok7 小时前
Web后端开发-分层解耦
java·笔记·后端·学习
wuxuanok8 小时前
Web后端开发-请求响应
java·开发语言·笔记·学习
诗句藏于尽头8 小时前
内网使用rustdesk搭建远程桌面详细版
笔记