技术栈
swiglu
Fulin_Gao
3 个月前
llama
·
原理
·
代码
·
rope
·
rmsnorm
·
swiglu
·
flashattention
【多模态大模型】LLaMA in arXiv 2023
论文: LLaMA: Open and Efficient Foundation Language Models 作者: Meta AI 代码: LLaMA 特点: 该方法在Transformer的基础上增加了Pre-normalization (RMSNorm)、SwiGLU activation function (SwiGLU)、Rotary Embeddings (RoPE)、FlashAttention。