技术栈
norm
西西弗Sisyphus
6 个月前
llama
·
rmsnorm
·
norm
·
batchnorm
·
layernorm
Meta Llama 3 RMSNorm(Root Mean Square Layer Normalization)
flyfish展示计算的方向在二维的情况 下,BatchNorm是按列算,LayerNorm按行算具体步骤如下: