LLaMA 数据集

LLaMA的训练数据集来源多样,涵盖了多个不同的数据集和预处理步骤。以下是详细的描述:

公开数据来源和预处理

  1. CommonCrawl [67%]

    • 使用CCNet管道(Wenzek等人,2020年)对2017年至2020年间的五个CommonCrawl转储进行预处理。
    • 删除行级别的数据,使用fastText线性分类器进行语言识别,以去除非英语页面。
    • 用n-gram语言模型过滤低质量内容。
    • 训练一个线性模型来对维基百科中用作参考文献的页面与随机抽样的页面进行分类,并丢弃未被分类为参考文献的页面。
  2. C4 [15%]

    • 使用多样化的预处理CommonCrawl数据集提高性能。
    • 公开的C4数据集(Raffel等人,2020年)包含重复数据删除和语言识别步骤。
    • 与CCNet的主要区别在于质量过滤,主要依赖于标点符号的存在或网页中的单词和句子的数量等判例。
  3. Github [4.5%]

    • 使用谷歌BigQuery上的GitHub公共数据集。
    • 只保留在Apache、BSD和MIT许可下发布的项目。
    • 用基于行长或字母数字字符比例的启发式方法过滤低质量的文件,并用正则表达式删除模板,如标题。
    • 在文件层面上对结果数据集进行重复计算,并进行精确匹配。
  4. 维基百科 [4.5%]

    • 包括2022年6月至8月期间的维基百科转储,涵盖20种使用拉丁字母或西里尔字母的语言。
    • 对数据进行处理,以删除超链接、评论和其他格式化的模板。
  5. 古腾堡和Books3 [4.5%]

    • 包括Gutenberg项目和ThePile(Gao等人,2020年)的Books3部分。
    • 在书籍层面上进行重复数据删除,删除内容重叠度超过90%的书籍。
  6. ArXiv [2.5%]

    • 处理arXiv的Latex文件,将科学数据添加到数据集中。
    • 按照Lewkowycz等人(2022年)的做法,删除第一节之前的所有内容,以及书目。
    • 删除.tex文件中的注释,以及用户写的内联扩展的定义和宏,以提高不同论文的一致性。
  7. Stack Exchange [2%]

    • 包括Stack Exchange的转储,涵盖不同领域的高质量问答网站。
    • 保留28个最大网站的数据,重新将HTML标签从文本中移出,并将答案按分数(从高到低)排序。

LLaMA的特点总结

  • 多样化数据来源:涵盖从网络抓取数据到书籍、科学论文和问答网站的数据。
  • 高效预处理:通过多种预处理技术确保数据的高质量和相关性,包括语言识别、质量过滤和重复数据删除。
  • 覆盖多语言:重点涵盖使用拉丁字母和西里尔字母的多种语言,提高模型的多语言处理能力。

LLaMA 2在训练设置和模型架构上大部分继承了LLaMA 1的配置,但也进行了几项重要的改进和调整。以下是详细的说明:

模型架构和预训练设置

  • 基础架构:LLaMA 2采用标准的Transformer架构(Vaswani等人,2017年)。
  • 预归一化:使用RMSNorm进行预归一化(pre-normalization)(Zhang和Sennrich,2019年)。
  • 激活函数:采用SwiGLU激活函数(Shazeer,2020年)。
  • 位置嵌入:使用旋转位置嵌入(RoPE,Su等人,2022年)。

主要改进

  • 上下文长度增加:与LLaMA 1相比,LLaMA 2增加了上下文长度,使得模型能够处理更长的输入序列。
  • 分组查询注意力(GQA):引入了分组查询注意力机制,这是一种改进的注意力机制,有助于提高模型的效率和性能。

总结

LLaMA 2在保持LLaMA 1基础架构的同时,通过增加上下文长度和引入分组查询注意力机制,进一步提升了模型的能力。这些改进使得LLaMA 2在处理长文本和提高计算效率方面表现更佳。

相关推荐
韬小志21 小时前
【LLaMa-Factory】监督微调训练方法
人工智能·深度学习·llama
大拨鼠2 天前
【多模态读论文系列】LLaMA-Adapter V2论文笔记
论文阅读·人工智能·llama
努力的光头强3 天前
太炸裂了,Ollama跑本地模型已成为历史,现在都在使用这个工具,而且还能集成本地知识库
人工智能·ai·pdf·产品经理·llama
AIBigModel4 天前
LLaMA系列一直在假装开源...
开源·llama
三月七(爱看动漫的程序员)5 天前
Tree of Thoughts: Deliberate Problem Solving with Large Language Models
人工智能·gpt·语言模型·自然语言处理·chatgpt·llama
励志成为美貌才华为一体的女子7 天前
基于LLaMA Factory对LLama 3指令微调的操作学习笔记
llama
HyperAI超神经8 天前
对标Hugging Face?GitHub Models新增OpenAI o1/Llama 3.2等, 新功能支持模型并排比较
人工智能·机器学习·github·llama·huggingface
努力的光头强10 天前
人工智能大模型赋能医疗健康产业白皮书(2023年)|附88页PDF文件下载
人工智能·算法·ai·pdf·产品经理·llama
cv2016_DL10 天前
CLIP改进
人工智能·深度学习·机器学习·计算机视觉·llama
马武寨山的猴子11 天前
【LLaMA-Factory】【Windows】:在windows操作系统配置大模型微调框架LLaMA-Factory
人工智能·windows·机器学习·llama