rms norm

gz7seven2 个月前
llama·激活函数·归一化·llama3·swiglu·rms norm
大模型学习笔记------Llama 3模型架构之RMS Norm与激活函数SwiGLU归一化模块是各个网络结构中必有得模块之一。Llama 3模型基于Transformer，Transformer中采用的归一化模块通常为层归一化Layer Norm（LN），如下图所示。而Llama模型采用LN的改进版RMS Norm。