大模型学习笔记 - LLM 之 LLaMA系列（待更新）

• [LLaMA 系列](#LLaMA 系列)
  • [LLaMA 概述](#LLaMA 概述)
    • LLaMA-1
    • LLaMA-2
    • LLaMA-3

LLaMA 概述

LLaMA: Open and Efficient Foundation Language Models

Llama 2: Open Foundation and Fine-Tuned Chat Models (LLama2 & LLama2-Chat)

LLama 3 | LLama 3.1

LLaMA-1

涉及到的基础知识点:

1. pre-normalization. RSMNorm。
2. SwiGLU activation function PaLM.
3. Rotary Embeddings GPTNeo.Rotary positional embeddings (RoPE),
4. FlashAttention

LLaMA-2

涉及到的基础知识点:

1. groupAttention
2. RLHF(PPO，拒绝采样)

LLama2:

我们还将预训练语料库的大小增加了 40%，增加了模型的上下文长度，并采用分组查询注意力（Ainslie et al., 2023）。我们正在发布具有 7B、13B 和 70B 参数的 Llama 2 变体。

LLama2Chat:

Llama 2-Chat 的训练：这个过程始于使用公开可用的在线源对 Llama 2 进行预训练。接下来，我们通过应用监督微调来创建 Llama 2-Chat 的初始版本。随后，使用带有人类反馈 (RLHF) 方法的强化学习迭代地改进模型，特别是通过拒绝采样 和近端策略优化 (PPO)。在 RLHF 阶段，迭代奖励建模数据与模型增强并行的累积对于确保奖励模型保持在分布内至关重要。

LLaMA-3