用PaddleNLP为GPT-2模型制作FineWeb二进制预训练数据集

作者:算力魔方创始人/英特尔创新大使刘力

《用PaddleNLP在4060单卡上实践大模型预训练技术》发布后收到读者热烈反响,很多读者要求进一步讲解更多的技术细节。本文主要针对大语言模型的预训练流程,使用PaddleNLP将FineWeb数据集中文本形式的数据,经过分词化(Tokenize),转换为大语言模型能直接使用的二进制数据,以便提升训练效果。

ChatGPT发布后,当代大语言模型(LLM)的训练流程基本遵循OpenAI提出的"预训练+后训练"的训练范式。

  • 预训练:将海量知识通过无监督学习的方式压缩到大语言模型的权重中,使其具备基本的通用能力,能预测下一个分词。预训练得到的模型叫基础大模型。

  • 后训练:通过监督微调(SFT)和强化学习(RL)等方式,让大模型按人类专家的方式输出知识,使其具备专业能力。

一, PaddleNLP简介

PaddleNLP是一款基于飞桨深度学习框架的大语言模型(LLM)开发套件,支持在多种硬件上进行高效的大模型训练、无损压缩以及高性能推理。PaddleNLP 具备简单易用和性能极致的特点,致力于助力开发者实现高效的大模型产业级应用。

复制代码
Github: https://github.com/PaddlePaddle/PaddleNLP

使用PaddleNLP实现训练文本分词化仅需三行代码,如下所示:

复制代码
# 导入PaddleNLP库中的GPTTokenizer类from paddlenlp.transformers import GPTTokenizer# 使用预训练的"gpt2-en"模型初始化GPTTokenizer,并设置bos_token为空字符串tokenizer = GPTTokenizer.from_pretrained("gpt2-en", bos_token="")# 打印使用tokenizer对字符串"Hello, world!"进行编码后的结果print(tokenizer.encode("Hello, world!"))

进入:

复制代码
https://tiktokenizer.vercel.app/?model=gpt2

可以对比PaddleNLP的GPTTokenzier对"Hello,World!"的分词结果。

二, FineWeb简介

FineWeb是由Hugging Face团队于2024年推出的超大规模语言模型预训练数据集。作为目前最大的开源预训练数据集之一,FineWeb数据集包含来自 CommonCrawl 的超过 15T 经过清理和重复数据删除的英文网络数据。**其高质量的数据,有助于大语言模型稳定平稳的完成预训练,**而不会发生由重复低质数据引发的Loss Spike。

复制代码
Link: https://huggingface.co/datasets/HuggingFaceFW/fineweb

本文使用FineWeb数据集的sample-10BT子集作为GPT-2的预训练数据集。

三, 开发环境准备

本文的开发环境依赖PaddlePaddle、PaddleNLP、datasets和tqdm。

首先,请安装PaddlePaddle框架:

复制代码
pip install paddlepaddle

然后,安装其它依赖项:

复制代码
pip install paddlenlp datasets tqdm

四, 代码实现

用PaddleNLP将FineWeb数据集进行分词化处理,然后转换为大语言模型能直接使用的二进制数据的关键步骤有:

1.从HuggingFace Hub加载fineweb数据集的10B样本子集;

2.使用train_test_split按比例分割训练集和验证集;

3.对每个文本进行编码,添加结束符eot_token,返回ids和len;

4.为训练集和验证集分别创建.bin文件,使用np.memmap高效写入。

关键代码如下所示:

完整范例代码请参见:

复制代码
https://aistudio.baidu.com/projectdetail/8798975

运行成功后,可以得到如下两个文件:

五, 总结

PaddleNLP好学易用,借助PaddleNLP的GPTTokenizer很容易实现FineWeb数据集的分词化,并转换为方便大模型预训练的二进制数据!


如果你有更好的文章,欢迎投稿!

稿件接收邮箱:nami.liu@pasuntech.com

更多精彩内容请关注"算力魔方®"!

相关推荐
王国强20091 小时前
拆解Transformer之Embedding
gpt
蚂蚁数据AntData1 天前
DB-GPT 0.7.4 版本更新|开源蚂蚁集团Text2SQL数据集:Falcon、支持GLM-4.5大模型
数据库·gpt·语言模型·开源
Lethehong1 天前
搭建AI智能翻译器:快速部署Dify,接入AiOnly平台GPT-5模型
人工智能·gpt·dify·maas·aionly
CaracalTiger3 天前
告别云端依赖!ComfyUI本地化视频生成实战教程+cpolar实战
python·gpt·开源·aigc·ai编程·1024程序员节·ai-native
mit6.8244 天前
[nanoGPT] 数据预处理与分词 | BPE配合`tiktoken`
gpt
七宝大爷4 天前
大模型是什么?从 GPT 到 LLaMA 的核心概念解析
gpt·llama
一只落魄的蜂鸟4 天前
《图解技术体系》Wonderful talk AI ~~GPT
人工智能·gpt
Ai173163915795 天前
英伟达RTX 6000 Ada 和L40S 对比,哪个更适合做深度学习?
图像处理·人工智能·gpt·深度学习·神经网络·机器学习·电脑
mit6.8245 天前
[nanoGPT] GPT模型架构 | `LayerNorm` | `CausalSelfAttention` |`MLP` | `Block`
gpt
AI新兵6 天前
AI大事记13:GPT 与 BERT 的范式之争(上)
人工智能·gpt·bert