论文笔记--Llama3 report
- [1. 文章简介](#1. 文章简介)
- [2. 性能升级](#2. 性能升级)
- [3. 模型升级](#3. 模型升级)
-
- [3.1 模型架构升级](#3.1 模型架构升级)
- [3.2 数据升级](#3.2 数据升级)
- [3.3 指令微调](#3.3 指令微调)
- [4. 原文传送门](#4. 原文传送门)
- [6. References](#6. References)
1. 文章简介
- 标题：Llama3 Report
- 作者：Meta
- 日期：2024.04
2. 性能升级
Llama3系列本次开源了8B和70B模型，在多个benchmarks上取得了SOTA表现。具体评估细节可以参见github
本次验证增加了高质量的人工评估集，涵盖12种场景（寻求建议、头脑风暴、分类、闭源QA、编码、创意写作、信息抽取、角色扮演、开放QA、推理、重写、摘要）共计1800个prompts。Llama3在这些prompts上表现超过GPT-3.5等模型：
3. 模型升级
3.1 模型架构升级
相比于Llama2[1]，Llama3在模型架构上没有明显改变，仍采用transformer的decoder架构，模型架构升级如下
- 词表大小由32K升级为128K
- 采用GQA编码（Llama2也采用了GQA）
- 上下文长度从4K增加为8k(8192)个tokens，并使用mask保证self-attention不跨文章
3.2 数据升级
相比于Llama2，Llama3的数据也进行了升级，主要升级如下
- 总tokens数从2T增加到15T
- 包含更多的代码
- 包含超过5%的非英文语料
为了保障数据质量，Llama3构建了数据清洗pipelines，包含启发式规则，NSFW（不安全内容过滤）、语义去重。此外，Meta基于Llama2的高质量内容生成能力，通过Llama2生成数据来训练文本质量分类器。
3.3 指令微调
Llama3采用了SFT、PPO、DPO组合的方式进行后训练（Post-training），Meta精心筛选了prompts的质量，从而大幅提高了模型表现。Meta发现模型有时候知道如何产生正确答案但不知道如何选择它，而通过PPO和DPO可提高模型的选择能力，从而提高在推理和编码任务上的表现。
4. 原文传送门
Meta Llama3 report
Meta Llama3 Model
6. References
[1] 论文笔记--Llama 2: Open Foundation and Fine-Tuned Chat Models