大模型学习笔记 - LLM 之 LLaMA系列(待更新)

LLaMA 概述

LLaMA: Open and Efficient Foundation Language Models

Llama 2: Open Foundation and Fine-Tuned Chat Models (LLama2 & LLama2-Chat)

LLama 3 | LLama 3.1

LLaMA-1

涉及到的基础知识点:

  1. pre-normalization. RSMNorm。
  2. SwiGLU activation function [PaLM].
  3. Rotary Embeddings [GPTNeo].Rotary positional embeddings (RoPE),
  4. FlashAttention

LLaMA-2

涉及到的基础知识点:

  1. groupAttention
  2. RLHF(PPO,拒绝采样)

LLama2:

我们还将预训练语料库的大小增加了 40%,增加了模型的上下文长度,并采用分组查询注意力(Ainslie et al., 2023)。我们正在发布具有 7B、13B 和 70B 参数的 Llama 2 变体。

LLama2Chat:

Llama 2-Chat 的训练:这个过程始于使用公开可用的在线源对 Llama 2 进行预训练。接下来,我们通过应用监督微调来创建 Llama 2-Chat 的初始版本。随后,使用带有人类反馈 (RLHF) 方法的强化学习迭代地改进模型,特别是通过拒绝采样近端策略优化 (PPO)。在 RLHF 阶段,迭代奖励建模数据与模型增强并行的累积对于确保奖励模型保持在分布内至关重要。

LLaMA-3

相关推荐
IMPYLH3 小时前
Python 的内置函数 reversed
笔记·python
码荼5 小时前
学习开发之hashmap
java·python·学习·哈希算法·个人开发·小白学开发·不花钱不花时间crud
武昌库里写JAVA6 小时前
Oracle如何使用序列 Oracle序列使用教程
java·开发语言·spring boot·学习·课程设计
ysa0510306 小时前
数论基础知识和模板
数据结构·c++·笔记·算法
祁思妙想6 小时前
八股学习(三)---MySQL
数据库·学习·mysql
今天背单词了吗9807 小时前
算法学习笔记:7.Dijkstra 算法——从原理到实战,涵盖 LeetCode 与考研 408 例题
java·开发语言·数据结构·笔记·算法
mitt_7 小时前
《人生顶层设计》读书笔记7
笔记
智者知已应修善业7 小时前
【51单片机节日彩灯控制器设计】2022-6-11
c语言·经验分享·笔记·单片机·嵌入式硬件·51单片机
amazinging7 小时前
北京-4年功能测试2年空窗-报培训班学测开-第四十一天
python·学习·appium
Jyywww1217 小时前
微信小程序学习笔记
笔记·学习·微信小程序