LLM学习之路-01-第一章-预训练/搞懂大模型的分词器(二)

每天5分钟搞懂大模型的分词器tokenizer(二):BPE (Byte-Pair Encoding)

BPE (Byte-Pair Encoding)

字节对编码 (BPE) 最初是作为一种压缩文本的算法开发的,最早是由Philip Gage于1994年在《A New Algorithm for Data Compression》一文中提出,后来被 OpenAI 在预训练 GPT 模型时用于分词器(Tokenizer)。它被许多 Transformer 模型使用,包括 GPT、GPT-2、RoBERTa、BART 和 DeBERTa。

本文尝试用最直观的语言和示例来解释 BPE 算法

本文的分词是在英文(拉丁语系)状态下进行的,中文状态下的分词会在后续的文章中讨论。

1. 直觉式理解

假设我们有一份语料,其中包含以下单词:

复制代码
faster</ w>: 8, higher</ w>:6, stronger</ w>:7

其中,数字表示单词出现的次数。

注: </ w> 表示单词的结束,使用 "w" 是因为它是 "word" 的首字母,这是一种常见的命名约定。然而,具体的标记token可能会根据不同的实现或者不同的分词方法有所不同。

首先,我们将其中的每个字符作为一个 token,得到的 token 如下:

复制代码
f a s t e r</ w>: 8, h i g h e r</ w>: 6, s t r o n g e r</ w>: 7

对应的字典如下:

复制代码
'a', 'e', 'f', 'g', 'h', 'i', 'n', 'o', 'r', 's', 't', 'r</ w>'

第二步,我们统计每两个token相邻出现的次数,得到如下结果:

复制代码
'fa':8,'as':8,'st':15,'te':8,'er</ w>':21,'hi':6,'ig':6,'gh':6,'he':6,'tr':7,'ro':7,'on':7,'ng':7,'ge':7

8+8+15+8+21+6+6+6+6+7+7+7+7+7=115

我们将出现次数最多的字符'e'和'r</ w>'对合并'er</ w>'【这就是byte pair 字节对的名称由来】,token变为:

复制代码
f a s t er</ w>: 8, h i g h er</ w>: 6, s t r o n g er</ w>: 7

对应的字典变化为:

复制代码
'a', 'f', 'g', 'h', 'i', 'n', 'o', 's','r', 't', 'er</ w>'

注意: 此时的'e'和'r</ w>'被'er'消融了,因为在token中除了'er'中有'e'和'r</ w>'其他地方都没有。

第三步,现在'er</ w>'已经是一个token了,我们继续统计相邻token出现的次数,得到如下结果:

复制代码
'fa':8,'as':8,'st':15,'ter</ w>':8,'hi':6,'ig':6,'gh':6,'her</ w>':6,'tr':7,'ro':7,'on':7,'ng':7,'ger</ w>':7

我们将出现次数最多的字符't'和'er</ w>'对合并'ter</ w>',token变为:

复制代码
f a s ter</ w>: 8, h i g h er</ w>: 6, s t r o n g er</ w>: 7

对应的字典变化为:

复制代码
'a', 'f', 'g', 'h', 'i', 'n', 'o', 's','r', 't', 'er</ w>', 'ter</ w>'

注意: 此时的'er</ w>'和't'都没有被'ter</ w>'消融了,因为在token中除了'ter</ w>'中有'er</ w>',其他地方也有'er</ w>'和't'

重复上述步骤,直到达到预设的token数量或者达到预设的迭代次数;

这两个就是BPE算法的超参数,可以根据实际情况调整。

搞清楚了BPE,后续我们再来看wordpiece和sentencepiece。

相关推荐
Easy数模18 分钟前
使用llm进行高级主题建模:通过利用 BERTopic 的表示模型和生成式 AI 深入探讨主题建模
人工智能·llm·nlp
你可以叫我仔哥呀23 分钟前
Java程序员学从0学AI(七)
java·开发语言·人工智能·ai·spring ai
_Kayo_27 分钟前
VUE2 学习笔记8 v-text/html/cloak/once/pre/自定义
笔记·学习
益莱储中国27 分钟前
是德科技 | AI上车后,这条“高速公路”如何畅通?
人工智能·科技
小张童鞋。33 分钟前
Datawhale AI夏令营--Task2:理解项目目标、从业务理解到技术实现!
人工智能
AI4Sci.34 分钟前
在云服务器上基于lora微调Qwen2.5-VL-7b-Instruct模型(下)
人工智能·算法·机器学习·大模型·lora微调·大模型本地部署·qwen2.5-vl-7b
LGGGGGQ38 分钟前
嵌入式学习-(李宏毅)机器学习(4)-day31
学习
杨DaB42 分钟前
【SpringMVC】MVC中Controller的配置 、RestFul的使用、页面重定向和转发
java·笔记·后端·学习·spring·mvc·restful
阿里云大数据AI技术44 分钟前
数据开发再提速!DataWorks正式接入Qwen3-Coder
大数据·人工智能·数据分析
Xxtaoaooo1 小时前
MCP协议全景解析:从工业总线到AI智能体的连接革命
大数据·人工智能·mcp协议·mcp解析·工业mcp