文章目录
- 1.概要
- [2. 模型参数量](#2. 模型参数量)
- [3. 权重文件的不同](#3. 权重文件的不同)
- [4. 嵌入层权重的不同](#4. 嵌入层权重的不同)
- [5. 输入序列长度的不同](#5. 输入序列长度的不同)
- [6. 应用场景](#6. 应用场景)
1.概要
LLaMA（Large Language Model Meta AI）是由Meta开发的一系列语言模型，其中不同版本的参数量（如7B、8B等）反映了模型的规模和能力。这些版本之间的区别主要体现在以下几个方面：
2. 模型参数量
- LLaMA 7B：具有70亿个参数（7 billion parameters）。
- LLaMA 8B：具有80亿个参数（8 billion parameters）
3. 权重文件的不同
- 8B 模型的权重文件被拆分成了 4 个部分（model-00001-of-00004.safetensors 到 model-00004-of-00004.safetensors）。
- 7B 模型的权重文件只有 2 个部分（model-00001-of-00002.safetensors 和 model-00002-of-00002.safetensors）。
- 8B 模型包含 score.weight，表明它用于分类任务。
4. 嵌入层权重的不同
- 7B 模型支持 max_position_embeddings 达到 32000；
- 8B 模型支持 max_position_embeddings 达到 131072。
5. 输入序列长度的不同
- 7B 模型最大输入序列长度 (max_position_embeddings: 4096)
- 8B 模型支持超长的输入序列 (max_position_embeddings: 131072)
6. 应用场景
- 7B 模型：
- 面向轻量级的NLP任务，如简单的聊天机器人、情感分析、短文生成等。
- 非常适合边缘计算场景和低功耗设备。
- 8B 模型：
- 支持序列分类任务，8B 模型天生适合序列建模和分类任务，可以调整为支持回归输出（连续值预测），这是8B模型常用于Reward Model的原因。
- 可以在处理细节和准确性要求较高的任务中表现更好。