用PaddleNLP为GPT-2模型制作FineWeb二进制预训练数据集

作者:算力魔方创始人/英特尔创新大使刘力

《用PaddleNLP在4060单卡上实践大模型预训练技术》发布后收到读者热烈反响,很多读者要求进一步讲解更多的技术细节。本文主要针对大语言模型的预训练流程,使用PaddleNLP将FineWeb数据集中文本形式的数据,经过分词化(Tokenize),转换为大语言模型能直接使用的二进制数据,以便提升训练效果。

ChatGPT发布后,当代大语言模型(LLM)的训练流程基本遵循OpenAI提出的"预训练+后训练"的训练范式。

  • 预训练:将海量知识通过无监督学习的方式压缩到大语言模型的权重中,使其具备基本的通用能力,能预测下一个分词。预训练得到的模型叫基础大模型。

  • 后训练:通过监督微调(SFT)和强化学习(RL)等方式,让大模型按人类专家的方式输出知识,使其具备专业能力。

一, PaddleNLP简介

PaddleNLP是一款基于飞桨深度学习框架的大语言模型(LLM)开发套件,支持在多种硬件上进行高效的大模型训练、无损压缩以及高性能推理。PaddleNLP 具备简单易用和性能极致的特点,致力于助力开发者实现高效的大模型产业级应用。

复制代码
Github: https://github.com/PaddlePaddle/PaddleNLP

使用PaddleNLP实现训练文本分词化仅需三行代码,如下所示:

复制代码
# 导入PaddleNLP库中的GPTTokenizer类from paddlenlp.transformers import GPTTokenizer# 使用预训练的"gpt2-en"模型初始化GPTTokenizer,并设置bos_token为空字符串tokenizer = GPTTokenizer.from_pretrained("gpt2-en", bos_token="")# 打印使用tokenizer对字符串"Hello, world!"进行编码后的结果print(tokenizer.encode("Hello, world!"))

进入:

复制代码
https://tiktokenizer.vercel.app/?model=gpt2

可以对比PaddleNLP的GPTTokenzier对"Hello,World!"的分词结果。

二, FineWeb简介

FineWeb是由Hugging Face团队于2024年推出的超大规模语言模型预训练数据集。作为目前最大的开源预训练数据集之一,FineWeb数据集包含来自 CommonCrawl 的超过 15T 经过清理和重复数据删除的英文网络数据。**其高质量的数据,有助于大语言模型稳定平稳的完成预训练,**而不会发生由重复低质数据引发的Loss Spike。

复制代码
Link: https://huggingface.co/datasets/HuggingFaceFW/fineweb

本文使用FineWeb数据集的sample-10BT子集作为GPT-2的预训练数据集。

三, 开发环境准备

本文的开发环境依赖PaddlePaddle、PaddleNLP、datasets和tqdm。

首先,请安装PaddlePaddle框架:

复制代码
pip install paddlepaddle

然后,安装其它依赖项:

复制代码
pip install paddlenlp datasets tqdm

四, 代码实现

用PaddleNLP将FineWeb数据集进行分词化处理,然后转换为大语言模型能直接使用的二进制数据的关键步骤有:

1.从HuggingFace Hub加载fineweb数据集的10B样本子集;

2.使用train_test_split按比例分割训练集和验证集;

3.对每个文本进行编码,添加结束符eot_token,返回ids和len;

4.为训练集和验证集分别创建.bin文件,使用np.memmap高效写入。

关键代码如下所示:

完整范例代码请参见:

复制代码
https://aistudio.baidu.com/projectdetail/8798975

运行成功后,可以得到如下两个文件:

五, 总结

PaddleNLP好学易用,借助PaddleNLP的GPTTokenizer很容易实现FineWeb数据集的分词化,并转换为方便大模型预训练的二进制数据!


如果你有更好的文章,欢迎投稿!

稿件接收邮箱:nami.liu@pasuntech.com

更多精彩内容请关注"算力魔方®"!

相关推荐
新知图书2 天前
大模型架构之GPT、LLaMA与PaLM模型
人工智能·gpt·语言模型·大模型应用开发·大模型应用
KKKlucifer2 天前
GPT-4 赋能恶意软件 GPT-MalPro:国内首现动态生成规避检测的勒索程序技术深度解析
大数据·人工智能·gpt
LinkTime_Cloud2 天前
OpenAI 陷“GPT门”风波,付费用户遭遇模型偷换与性能降级
人工智能·gpt
LETTER•2 天前
从GPT-1到GPT-3:生成式预训练语言模型的演进之路
gpt·深度学习·语言模型·自然语言处理
七牛云行业应用3 天前
GPT-5 撼动量子计算:AI 在科研领域的颠覆性应用
人工智能·gpt·量子计算·gpt5
zstar-_4 天前
【不背八股】19.GPT-2:不再微调,聚焦零样本
gpt
DFminer5 天前
【仿生机器人】基于 GPT-SoVITS 的 发声器
gpt·机器人
哪 吒5 天前
本地安装Codex,国内直接使用GPT-5-Codex
gpt·ai·chatgpt·codex·gpt-5·gpt-5 codex
zstar-_6 天前
【不背八股】18.GPT1:GPT系列的初代目
gpt
空中湖6 天前
AI觉醒:小白的大模型冒险记 第9章:GPT大师的工坊 - 语言模型的训练秘密
人工智能·gpt·语言模型