技术栈
layernorm
自信的小螺丝钉
6 天前
人工智能
·
pytorch
·
python
·
归一化
·
rmsnorm
·
layernorm
【大模型手撕】pytorch实现LayerNorm, RMSNorm
LayerNorm介绍请参考：【AI知识】归一化、批量归一化 、 层归一化 和 实例归一化RMSNorm介绍请参考：【大模型知识点】RMSNorm（Root Mean Square Normalization）均方根归一化
@Mr_LiuYang
6 个月前
归一化
·
正则化
·
batchnorm
·
layernorm
·
normlization
·
instancenrom
·
groupnorm
深度学习pytorch之4种归一化方法（Normalization）原理公式解析和参数使用
深度学习pytorch之22种损失函数数学公式和代码定义 深度学习pytorch之19种优化算法（optimizer）解析 深度学习pytorch之4种归一化方法（Normalization）原理公式解析和参数使用
西西弗Sisyphus
1 年前
llama
·
rmsnorm
·
norm
·
batchnorm
·
layernorm
Meta Llama 3 RMSNorm（Root Mean Square Layer Normalization）
flyfish展示计算的方向在二维的情况 下，BatchNorm是按列算，LayerNorm按行算具体步骤如下：
我是有底线的