Meta 发布了 Llama 3，其中包含 8B 和 70B 两个版本。Llama 3 以强大的性能和丰富的功能成为迄今为止最强大的开源大语言模型之一。从已经释放的信息来看，Llama 3 在模型架构、训练数据、训练规模和指令微调等方面进行了多项改进，使其在推理、代码生成和指令遵循等方面表现出色。
特别是中文内容的理解和生成方面，Llama 3 也展现了不错的实力。通过一段prompt「以关羽为题，写一首七言绝句。」Llama 3 能很好的理解并生成一段七言绝句，句子工整对仗，效果好于其他开源模型。
模型架构与训练数据
Llama 3 采用了相对标准的 decoder-only Transformer 架构，与 Llama 2 相比，Llama 3 的模型架构进行了一些关键改进，例如使用包含 12.8 万个 token 的词表进行更高效的编码，这使得模型能够更好地理解和处理文本信息。为了提高推理效率，Llama 3 在 8B 和 70B 两种模型尺寸上都采用了分组查询注意力机制（GQA），这种机制可以减少计算量并加快推理速度。此外，Llama 3 支持 8192 个 token 的序列长度，这意味着模型可以处理更长的文本段落，并更好地理解上下文信息。
Llama 3 的训练数据规模达到了 15 万亿个 token，是 Llama 2 的七倍，这使得模型能够学习到更丰富的语言知识和模式。训练数据来自公开可用的在线数据源，并经过精心筛选和处理，以确保数据的质量和多样性。Llama 3 的训练数据包含四倍于 Llama 2 的代码数据，这使得模型在代码生成和理解方面表现出色。此外，Llama 3 的训练数据还包含覆盖 30 多种语言的非英语数据，虽然模型在这些语言上的性能可能不如英语，但这为 Llama 3 的多语言能力奠定了基础。
为了确保 Llama 3 训练数据的质量，Meta 开发了一系列数据过滤流程，包括使用启发式过滤器、NSFW 过滤器、语义重复数据删除方法和文本分类器来预测数据质量。Llama 2 在识别高质量数据方面表现出色，因此 Meta 利用 Llama 2 生成训练数据，用于训练 Llama 3 的文本质量分类器。此外，Meta 还进行了大量实验，以评估在最终预训练数据集中混合不同来源数据的最佳方法，并选择了一种能够确保 Llama 3 在各种用例中表现良好的数据混合方式，例如问答、STEM、编码、历史知识等。
Llama 3 的训练规模与指令微调
Llama 3 在训练规模上进行了突破性的尝试，采用了多种并行化技术，并在庞大的 GPU 集群上进行训练。为了有效地利用庞大的训练数据，研究人员结合了数据并行、模型并行和流水线并行三种并行化技术，并在两个定制的 24K GPU 集群上进行训练。这种大规模的训练架构使得 Llama 3 能够从海量数据中学习到丰富的知识和模式，为其强大的性能奠定了基础。
除了大规模训练，Llama 3 还采用了多种指令微调技术，以提升其在对话应用中的表现。研究人员使用了监督微调（SFT）、拒绝采样、近端策略优化（PPO）和直接策略优化（DPO）等技术，对预训练模型进行进一步的优化。这些技术能够有效地引导模型学习人类的指令和偏好，使其在生成文本时更加符合人类的预期。例如，通过 PPO 和 DPO 技术，Llama 3 能够从人类的偏好排名中学习，从而提高其在推理和编码任务上的性能。
Llama 3 的训练规模和指令微调技术的结合，使其在性能和功能上都取得了显著的提升。大规模训练为模型提供了丰富的知识和模式，而指令微调则使其能够更好地理解和遵循人类的指令，从而在各种任务中展现出优异的表现。
Llama 3 的性能与评估
Llama 3 在多个行业基准测试中展现了最先进的性能，标志着大语言模型能力的显著提升。它在推理、代码生成和指令遵循等方面取得了突破性进展，使其能够更好地理解和响应用户的指令，并生成高质量的文本内容。Llama 3 的性能提升得益于其改进的模型架构、庞大的训练数据规模以及创新的训练方法。这些改进使得 Llama 3 能够更有效地学习语言的复杂模式，并将其应用于各种任务。
为了评估 Llama 3 在真实场景中的表现，Meta 开发了一个全新的人工评估集，包含 1800 个涵盖 12 个关键用例的提示，例如寻求建议、头脑风暴、分类、封闭式问答、编码、创意写作、提取信息、扮演角色、开放式问答、推理、改写和总结等。评估结果显示，Llama 3 在这些用例中表现出色，尤其是在推理和代码生成方面，展现出强大的能力。这表明 Llama 3 不仅在基准测试中表现优异，在实际应用中也能为用户提供高质量的服务。
部署与未来规划
Llama 3 将在所有主要平台上提供，包括云服务提供商、模型 API 提供商等。Meta 还计划在未来几个月内发布具有更多功能的 Llama 3 模型，包括多模态、多语言支持、更长的上下文窗口和更强的整体性能。
总结
Llama 3 的发布标志着开源大语言模型发展的一个重要里程碑。其强大的性能、丰富的功能将推动生成式 AI 应用的创新和发展，让我们一起期待后续应用生态的创新产品的出现。