GPT3.5的tokenization流程如上图所示，以下是chatGPT对BPE算法的解释：
BPE（Byte Pair Encoding）编码算法是一种基于统计的无监督分词方法，用于将文本分解为子词单元。它的原理如下：
初始化：将文本中的每个字符视为一个单词，并统计每个字符出现的频率。这些字符可以是字母、标点符号或其他任意字符。
统计频率：在每次迭代中，计算每对相邻字符（或字符序列）的频率，并记录最常出现的一对。
合并频率最高的一对：将频率最高的字符对合并成一个新的字符（或字符序列），并将其作为新的单词。同时，更新字符频率统计。
重复步骤2和3：重复执行步骤2和3，直到达到预定的子词数量或达到指定的迭代次数。
构建词表：将合并得到的字符组合形成的新单词添加到词表中。
分词：使用得到的词表将文本分解为子词单元。
BPE算法的核心思想是通过反复合并频率最高的字符对来构建子词单元。这样做的好处是可以将常见的词汇合并为一个单元，同时也能够处理未登录词（OOV）问题，即将未在训练集中出现过的词拆解为可识别的子词。
BPE算法的优点是可以自适应地根据数据集构建词表，而不需要依赖外部词典。它在机器翻译、文本生成等自然语言处理任务中得到广泛应用。
BPE采用了一种贪婪的思想来生成token，以下博客举例解释了BPE算法的迭代过程
https://zhuanlan.zhihu.com/p/424631681