BPE分词器的完整实现:字节对合并与词表构建

分词器是所有 LLM 系统的第一层,却常年被当作黑盒:文本怎么变成 token、词表怎么构建、"为什么模型数不清 strawberry 里有几个 r"------答案都在分词器里。这篇文章从字节编码出发完整实现 BPE(Byte-Pair Encoding),解释它为什么是当前所有主流模型的选择,以及它造成的那几类著名故障。

一、为什么是"字节级"BPE

最早的 BPE 基于字符级词表,但字符词表遇到任何未登录字符(罕见 unicode、表情符号)就会失败。字节级 BPE 的解法极其聪明:先把一切文本编码成 UTF-8 字节流(词表底座固定为 256 个字节,覆盖所有可能输入,永不 OOV),再在字节流上跑字节对合并 。英文单词大多 1-4 字节、中文常用字 3 字节------合并算法会自动把高频字节序列("the"、"的")聚成单 token,语言间的编码效率差异完全由训练语料的构成决定。这也是一个著名的公平性问题根源:同样一段语义,中文常常比英文多用 1.5-2 倍 token------价差不在模型,在词表。

二、训练算法:贪心合并的完整实现

BPE 训练是一个贪心迭代:统计当前语料中所有相邻符号对的频率,把最高频的一对合并成新符号、写回所有出现位置,重复直到词表达到目标大小:

python 复制代码
from collections import Counter

def get_stats(word_freqs):
"""统计所有相邻符号对的频率"""
pairs = Counter()
for word, freq in word_freqs.items():
sym = word
for i in range(len(sym) - 1):
pairs[(sym[i], sym[i+1])] += freq
return pairs

def merge_word(word, pair, new_id):
"""在单个词内执行一次合并: pair -> new_id"""
out, i = [], 0
while i < len(word):
if i < len(word)-1 and (word[i], word[i+1]) == pair:
out.append(new_id); i += 2        # 命中合并
else:
out.append(word[i]); i += 1
return out

def train_bpe(text, vocab_size=1000, special_tokens=["<|endoftext|>"]):
# 1. 预切分: 按正则把文本拆成"词"级单元, 词内才允许合并
#    (空格/标点归属: GPT 风格是空格黏在前词尾部)
pat = re.compile(r"""'(?:[sdmt]|ll|ve|re)| ?\p{L}+| ?\p{N}+| ?[^\s\p{L}\p{N}]+|\s+(?!\S)|\s+""")
word_freqs = Counter()
for m in pat.finditer(text):
word_freqs[tuple(text[m.start():m.end()].encode("utf-8"))] += 1

merges, vocab = [], {i: bytes([i]) for i in range(256)}
next_id = 256
while len(vocab) < vocab_size:
pairs = get_stats(word_freqs)
best, freq = pairs.most_common(1)[0]
merges.append((best, next_id))
vocab[next_id] = best[0] + best[1]
word_freqs = {merge_word(w, best, next_id): f
for w, f in word_freqs.items()}
next_id += 1
return merges, vocab

两个设计决策决定了分词器的性格。预切分正则 是第一道关键:它规定合并只能发生在"词"内部,空格与标点是硬边界------没有这一步,"the" 会与句号合并、"don" 会与 "'t" 合并成不可预测的大块。GPT 系列的正则里还有数字逐位切分( \p{N}+ 拆成单数字)的版本,用于治理"模型算不准数"的故障(后面细说)。语料的配比是第二道:多语言与代码语料的占比直接写进词表的 token 密度,也就写进了不同语言用户的账单。

三、编码与解码:合并规则的正确使用

推理时的编码不能重新跑训练统计,而是按训练时记录的合并优先级应用规则:给一个新词,先拆成字节,再按 merges 表的顺序(先学的合并优先)逐个套用:

python 复制代码
def encode(text, merges, pat):
ids = []
for m in pat.finditer(text):
symbols = list(text[m.start():m.end()].encode("utf-8"))
# 按合并的"学习顺序"迭代应用------顺序是正确性的关键
rank = {pair: i for i, (pair, _) in enumerate(merges)}
while len(symbols) >= 2:
# 找当前序列里优先级最高(最早学到)的可合并对
candidates = [(rank[p], i) for i, p in
enumerate(zip(symbols, symbols[1:])) if p in rank]
if not candidates: break
_, i = min(candidates)
symbols = symbols[:i] + [merges[rank_of(candidates, i)]] \
+ symbols[i+2:]
ids += symbols
return ids

一个必须警惕的实现陷阱:编码时不能贪心地做最长匹配,必须按训练时的合并优先级------否则同一段文本在训练与推理时会被切成不同的 token 序列,模型在一条分布上训练、在另一条分布上推理,性能无声劣化。解码则简单得多:id 查表得字节、拼接、UTF-8 解码------但要注意不完整的多字节字符(流式输出时半个中文字节到了)需要缓冲到字节流完整再解码。

四、分词器造成的三类著名故障

理解了实现,那些著名故障都有了机械解释。计数故障 ("strawberry 有几个 r"):token 把字母序列打包成不可分割的块,模型看到的是"strawberry"这个 token 的 id,而非 r-e-b-e-r-r-y 的字母序列------它从未在训练中见过这个 token 的字符内部结构。数字逐位切分正是针对它的修复。代码与数字的对齐故障 :缩进空格被合并成大块、多空格与 tab 混用时编码不稳定,这是代码模型对分词器格外敏感的原因。跨语言价差 :如前所述,词表密度即价格。这三类故障的共同根源是同一个:模型感知的"世界单位"是 token,不是字符,而 token 的边界是人类语言的任意切分。所以分词器从来不是工程杂项------它决定了模型对文字的粒度感知,也决定了每一次 API 调用的账单。改一个预切分正则,模型的算术能力可能肉眼可见地变化;扩词表省下的是多语言用户的 token 费,付出的却是一次全新的全量预训练------分词器的每一个决策都是一次不可逆的沉没成本,这就是为什么它是训练前最重要的、也最常被低估的决策。

相关推荐
岁月宁静8 分钟前
从零拆解 AI 语音模拟面试系统
人工智能·python·agent
武子康38 分钟前
H3-World 接入 Game Agent:谁来判断门真的打开了?
人工智能·算法·机器学习
可乐ea1 小时前
MCP 和 CLI 差 42 倍:一次 GitHub 任务的上下文成本实测
人工智能·github·工具调用·ai智能体·openrouter·mcp协议·上下文优化
kyriewen2 小时前
编辑弹窗点了取消,列表里的数据怎么还是变了?
前端·javascript·人工智能
驭渊的小故事2 小时前
订单服务如何调用商品服务?一次 RestTemplate 跨服务调用入门
java·开发语言·php
泯泷2 小时前
Multica 真正打动我的,不是更多 Agent,而是一种新的团队协作方式
人工智能·llm·agent
电科_银尘2 小时前
【深度学习项目实战·22】灰度图像着色:用小型U-Net学习从灰度到RGB
人工智能·深度学习·学习
阿里云大数据AI技术2 小时前
云栖实录|倍思科技 × 阿里云:让VOC洞察从“生成报告”走向“业务可用”
人工智能·elasticsearch·agent
Sakura_j_h_3 小时前
MCP SDK 2.0 实战:用 MCPServer 搭本地笔记检索服务
开发语言·笔记·python·qt·ai工具·mcp·mcpserver