每天5分钟搞懂大模型的分词器tokenizer（二）：BPE (Byte-Pair Encoding)

BPE (Byte-Pair Encoding)

字节对编码 (BPE) 最初是作为一种压缩文本的算法开发的，最早是由Philip Gage于1994年在《A New Algorithm for Data Compression》一文中提出，后来被 OpenAI 在预训练 GPT 模型时用于分词器（Tokenizer）。它被许多 Transformer 模型使用，包括 GPT、GPT-2、RoBERTa、BART 和 DeBERTa。

本文尝试用最直观的语言和示例来解释 BPE 算法。

本文的分词是在英文（拉丁语系）状态下进行的，中文状态下的分词会在后续的文章中讨论。

1. 直觉式理解

假设我们有一份语料，其中包含以下单词：

plaintext 复制代码

faster</ w>: 8, higher</ w>:6, stronger</ w>:7

其中，数字表示单词出现的次数。

注： </ w> 表示单词的结束，使用 "w" 是因为它是 "word" 的首字母，这是一种常见的命名约定。然而，具体的标记token可能会根据不同的实现或者不同的分词方法有所不同。

首先，我们将其中的每个字符作为一个 token，得到的 token 如下：

plaintext 复制代码

f a s t e r</ w>: 8, h i g h e r</ w>: 6, s t r o n g e r</ w>: 7

对应的字典如下：

plaintext 复制代码

'a', 'e', 'f', 'g', 'h', 'i', 'n', 'o', 'r', 's', 't', 'r</ w>'

第二步，我们统计每两个token相邻出现的次数，得到如下结果：

plaintext 复制代码

'fa':8,'as':8,'st':15,'te':8,'er</ w>':21,'hi':6,'ig':6,'gh':6,'he':6,'tr':7,'ro':7,'on':7,'ng':7,'ge':7

8+8+15+8+21+6+6+6+6+7+7+7+7+7=115

我们将出现次数最多的字符'e'和'r</ w>'对合并'er</ w>'【这就是byte pair 字节对的名称由来】，token变为：

plaintext 复制代码

f a s t er</ w>: 8, h i g h er</ w>: 6, s t r o n g er</ w>: 7

对应的字典变化为：

plaintext 复制代码

'a', 'f', 'g', 'h', 'i', 'n', 'o', 's','r', 't', 'er</ w>'

注意：此时的'e'和'r</ w>'被'er'消融了，因为在token中除了'er'中有'e'和'r</ w>'其他地方都没有。

第三步，现在'er</ w>'已经是一个token了，我们继续统计相邻token出现的次数，得到如下结果：

plaintext 复制代码

'fa':8,'as':8,'st':15,'ter</ w>':8,'hi':6,'ig':6,'gh':6,'her</ w>':6,'tr':7,'ro':7,'on':7,'ng':7,'ger</ w>':7

我们将出现次数最多的字符't'和'er</ w>'对合并'ter</ w>'，token变为：

plaintext 复制代码

f a s ter</ w>: 8, h i g h er</ w>: 6, s t r o n g er</ w>: 7

对应的字典变化为：

plaintext 复制代码

'a', 'f', 'g', 'h', 'i', 'n', 'o', 's','r', 't', 'er</ w>', 'ter</ w>'

注意：此时的'er</ w>'和't'都没有被'ter</ w>'消融了，因为在token中除了'ter</ w>'中有'er</ w>'，其他地方也有'er</ w>'和't'

重复上述步骤，直到达到预设的token数量或者达到预设的迭代次数；

这两个就是BPE算法的超参数，可以根据实际情况调整。

搞清楚了BPE，后续我们再来看wordpiece和sentencepiece。

参考

1\] [A New Algorithm for Data Compression](https://link.juejin.cn?target=http%3A%2F%2Fwww.pennelynn.com%2FDocuments%2FCUJ%2FHTML%2F94HTML%2F19940045.HTM "http://www.pennelynn.com/Documents/CUJ/HTML/94HTML/19940045.HTM") \[2\] [wiki:BPE](https://link.juejin.cn?target=https%3A%2F%2Fen.wikipedia.org%2Fwiki%2FByte_pair_encoding "https://en.wikipedia.org/wiki/Byte_pair_encoding") \[3\] [Byte-Pair Encoding tokenization](https://link.juejin.cn?target=https%3A%2F%2Fhuggingface.co%2Flearn%2Fnlp-course%2Fen%2Fchapter6%2F5 "https://huggingface.co/learn/nlp-course/en/chapter6/5") ## 欢迎关注我的GitHub和微信公众号，来不及解释了，快上船！ [GitHub: LLMForEverybody](https://link.juejin.cn?target=https%3A%2F%2Fgithub.com%2Fluhengshiwo%2FLLMForEverybody "https://github.com/luhengshiwo/LLMForEverybody") 仓库上有原始的Markdown文件，完全开源，欢迎大家Star和Fork！