大模型学习笔记 - LLM 之 LLaMA系列(待更新)

LLaMA 概述

LLaMA: Open and Efficient Foundation Language Models

Llama 2: Open Foundation and Fine-Tuned Chat Models (LLama2 & LLama2-Chat)

LLama 3 | LLama 3.1

LLaMA-1

涉及到的基础知识点:

  1. pre-normalization. RSMNorm。
  2. SwiGLU activation function [PaLM].
  3. Rotary Embeddings [GPTNeo].Rotary positional embeddings (RoPE),
  4. FlashAttention

LLaMA-2

涉及到的基础知识点:

  1. groupAttention
  2. RLHF(PPO,拒绝采样)

LLama2:

我们还将预训练语料库的大小增加了 40%,增加了模型的上下文长度,并采用分组查询注意力(Ainslie et al., 2023)。我们正在发布具有 7B、13B 和 70B 参数的 Llama 2 变体。

LLama2Chat:

Llama 2-Chat 的训练:这个过程始于使用公开可用的在线源对 Llama 2 进行预训练。接下来,我们通过应用监督微调来创建 Llama 2-Chat 的初始版本。随后,使用带有人类反馈 (RLHF) 方法的强化学习迭代地改进模型,特别是通过拒绝采样近端策略优化 (PPO)。在 RLHF 阶段,迭代奖励建模数据与模型增强并行的累积对于确保奖励模型保持在分布内至关重要。

LLaMA-3

相关推荐
KD杜小帅3 分钟前
2025年Solar应急响应公益月赛-7月笔记ing
笔记
Asu52021 小时前
思途SQL学习 0729
数据库·sql·学习
Star在努力1 小时前
15-C语言:第15~16天笔记
c语言·笔记·算法
ZY小袁3 小时前
MGRE综合实验
服务器·网络·笔记·网络安全·学习方法·信息与通信·p2p
一位搞嵌入式的 genius3 小时前
暑期自学嵌入式——Day10(C语言阶段)
linux·笔记·学习·嵌入式c语言
被遗忘的旋律.3 小时前
Linux驱动开发笔记(五)——设备树(上)
linux·驱动开发·笔记
霜绛4 小时前
机器学习笔记(四)——聚类算法KNN、Kmeans、Dbscan
笔记·算法·机器学习·kmeans·聚类
晨非辰5 小时前
#C语言——学习攻略:深挖指针路线(三)--数组与指针的结合、冒泡排序
c语言·开发语言·数据结构·学习·算法·排序算法·visual studio
先生沉默先5 小时前
Docker学习日志-Docker容器配置、Nginx 配置与文件映射
学习·nginx·docker
Brookty11 小时前
Java线程安全与中断机制详解
java·开发语言·后端·学习·java-ee