文章目录
-
- [01 本篇要解决什么问题](#01 本篇要解决什么问题)
- [02 核心原理、公式与条件](#02 核心原理、公式与条件)
- [03 手写实现、实验与真实结果](#03 手写实现、实验与真实结果)
- [04 工程场景与排错思路](#04 工程场景与排错思路)
- [05 面试问答与追问](#05 面试问答与追问)
- [06 本篇回顾与练习](#06 本篇回顾与练习)
01 本篇要解决什么问题
同样一段中文,不同Tokenizer可能产生不同长度。token ID不是词义本身,Embedding也不是把整数当连续数值直接送入网络。本篇先建立从文本到ID、再到向量的契约,用完全离线的UTF-8字节分词器观察边界。
02 核心原理、公式与条件
(1)字符、字节和token不是同一单位
Python字符串长度按Unicode码点计,UTF-8把码点编码成字节,Tokenizer再依据自己的规则输出token。一个汉字可能占多个UTF-8字节,一个子词token也可能覆盖多个字符;用户可见字形又未必只有一个码点。
模型上下文限制通常以其Tokenizer的token数度量,不能把"几千字"直接替代token预算。比较成本时要固定文本、Tokenizer版本和特殊token规则,不能把不同词表的长度当成模型理解能力排名。
(2)子词方法是如何折中
BPE通过合并规则组织常见片段,WordPiece和Unigram等有不同建模与选择方式。工程实现还包括规范化、预分词、字节回退和解码规则,不能只背一个算法名就认为能复现完整Tokenizer。
本篇没有训练BPE,而是使用固定字节词表:ID0为PAD,1为BOS,2为EOS,3保留未使用,0---255字节映射到4---259。固定260项词表能表示合法UTF-8文本,不需要从测试文本学习新词表,但通常比成熟子词编码产生更多token。
(3)特殊token是协议的一部分
BOS、EOS、PAD含义不同:起点、结束与批量补齐不能随意复用。真实对话模型还可能有角色与轮次边界,模板和权重必须匹配,不能手工拼几个角色名就声称复现官方聊天协议。
本例decode跳过三个已定义特殊ID,拒绝保留ID3和非法ID。它并不保证还原特殊符号的文本表示,也不是任何现有模型的官方Tokenizer。保存模型时还应保存映射、特殊ID及相关版本。
(4)嵌入是查表,不是把ID当数值大小
设词表大小V、向量宽度D,嵌入参数 E ∈ R V × D E\in\mathbb R^{V\times D} E∈RV×D,ID对应某一行。输入B,T得到B,T,D,ID需为合法整数索引;ID100不是ID50的两倍语义。
前向查表可与one-hot矩阵乘E比较,但真实训练通常不构造庞大的one-hot。相同token多次出现时,其行梯度累加;没被使用的行在该查表分支没有相应贡献。
(5)padding_idx增加了反向约定
nn.Embedding的padding_idx会让对应行在该嵌入查表反向中不累积普通梯度。本例初始PAD行是零,所以前向与one-hot乘法相同;但若直接对未作特殊处理的one-hot乘法反向,PAD行导数并不会自动为零。
因此实验将PAD计数明确设0,再与查表梯度核对。该约定不等于任意优化器、权重共享路径或手工写入都永远无法改变这行参数;分析时要说明是哪条计算路径的性质。
(6)忽略padding标签不等于屏蔽padding注意力
ignore_index用于损失,把某些目标位置排除;key padding mask用于注意力,阻止其他query读取补齐的key。两者作用阶段不同,只忽略标签仍可能让模型从输入补齐处读取信息。
本篇验证被忽略目标位置的logit梯度为0;第16篇会进一步处理key屏蔽和补齐query的输出。本例不把padding_idx、ignore_index和attention mask混成一个万能开关。
(7)字节生成需要增量解码
如果生成一个中文字符的前几个字节就立刻严格解码,可能报不完整UTF-8错误;直接替换错误字符又可能破坏后续显示。本例使用增量解码器,逐字节输入,待完整编码形成后再输出字符。
可表示任意合法输入文本,不等于模型生成的任意字节序列都合法。严格decode可能拒绝坏序列,产品需要明确错误与流式展示策略,不能把这个教学Tokenizer当作已经解决所有输出编码问题。
(8)把预处理和权重一起交付
改变词表顺序会改变嵌入行的含义,输入看起来仍是合法整数,却可能完全错配模型。模型迁移时应核对词表、特殊ID、分词规范和模板,而不只是检查权重能否load。
实验保存文本、码点数、字节数和ID序列,并核对含中文与表情文本的往返。统计用于说明单位差异,不评测分词质量或语言泛化,也不从这几个样本得出某类分词算法普遍更优。

03 手写实现、实验与真实结果
核心组件
以下与examples/transformer_core.py中的实现一致;完整模块也收录在公共代码附录。正文入口从该模块导入,按目录保留文件即可运行。
python
import math
import torch
from torch import nn
class ByteTokenizer:
pad_id,bos_id,eos_id=0,1,2
vocab_size=260 # 3 reserved specials, one unused reserved ID 3, 256 bytes
def encode(self,text,bos=False,eos=False):
return ([1] if bos else [])+[b+4 for b in text.encode('utf-8')]+([2] if eos else [])
def decode(self,ids):
data=[]
for i in ids:
if i in [0,1,2]: continue
if not 4<=i<260: raise ValueError('invalid or unsupported reserved token')
data.append(i-4)
return bytes(data).decode('utf-8',errors='strict')
完整实验入口
在解压根目录运行python examples/lesson_14.py,保留tf_common.py与transformer_core.py。先按README安装CPU依赖,之后无需联网或下载权重;不使用会关闭断言的python -O。
python
import codecs,torch
from torch import nn
from torch.nn import functional as F
from transformer_core import ByteTokenizer
from tf_common import output_dir,finish,table,figure,plt
def main():
out=output_dir(14); torch.manual_seed(1414); torch.set_num_threads(1)
tokenizer=ByteTokenizer(); texts=['MRI重建','attention','你好🙂']
sequences=[tokenizer.encode(t,bos=True,eos=True) for t in texts]
for text,ids in zip(texts,sequences): assert tokenizer.decode(ids)==text
T=max(map(len,sequences)); ids=torch.zeros(len(texts),T,dtype=torch.long)
for i,row in enumerate(sequences): ids[i,:len(row)]=torch.tensor(row)
embedding=nn.Embedding(260,8,padding_idx=0).double(); result=embedding(ids)
one_hot=F.one_hot(ids,num_classes=260).double()@embedding.weight
assert torch.allclose(result,one_hot)
result.sum().backward(); counts=torch.bincount(ids.flatten(),minlength=260).double(); counts[0]=0
assert torch.equal(embedding.weight.grad,counts[:,None].expand(260,8))
logits=torch.randn(2,3,260,dtype=torch.double,requires_grad=True); labels=torch.tensor([[1,2,0],[4,0,0]])
loss=F.cross_entropy(logits.reshape(-1,260),labels.flatten(),ignore_index=0)
loss.backward(); assert torch.equal(logits.grad[labels==0],torch.zeros_like(logits.grad[labels==0]))
text='你🙂'; raw=text.encode('utf-8'); decoder=codecs.getincrementaldecoder('utf-8')()
pieces=[decoder.decode(bytes([b]),final=False) for b in raw]; pieces.append(decoder.decode(b'',final=True))
assert ''.join(pieces)==text
rejected=False
try: tokenizer.decode([3])
except ValueError: rejected=True
assert rejected
table(out/'tokenized.csv',['text','character_count','byte_tokens_without_specials','ids'],[(t,len(t),len(t.encode('utf-8')),str(row)) for t,row in zip(texts,sequences)])
fig,ax=plt.subplots(figsize=(8,4),constrained_layout=True)
ax.bar([0,1,2],[len(t) for t in texts],width=.35,label='Python code points')
ax.bar([.35,1.35,2.35],[len(t.encode('utf-8')) for t in texts],width=.35,label='UTF-8 bytes')
ax.set(xticks=[.175,1.175,2.175],xticklabels=['MRI + Chinese','attention','Chinese + emoji'],ylabel='count',title='Different units; not an industry tokenizer benchmark'); ax.legend(); figure(fig,out)
finish(out,{'vocab_size':260,'embedding_shape':list(result.shape),'roundtrips_passed':len(texts),
'embedding_gradient_matches_token_counts':True,'pad_target_gradient_zero':True,'incremental_UTF8_roundtrip':True,
'scope':'homemade byte tokenizer; no trained BPE/WordPiece/SentencePiece or official chat template; no vocabulary learning'})
if __name__=='__main__': main()
中文、英文和表情文本字节往返;嵌入前向对照one-hot、查表梯度对照出现计数并单独处理PAD;被忽略标签logit梯度为0;增量UTF-8解码可拼回原文。没有训练子词词表。
本次实际运行
json
{
"vocab_size": 260,
"embedding_shape": [
3,
12,
8
],
"roundtrips_passed": 3,
"embedding_gradient_matches_token_counts": true,
"pad_target_gradient_zero": true,
"incremental_UTF8_roundtrip": true,
"scope": "homemade byte tokenizer; no trained BPE/WordPiece/SentencePiece or official chat template; no vocabulary learning"
}

图由实际CSV和程序生成,未平滑或补造;SVG、JSON与明细保留在实验结果目录。前向、梯度、结构与最终任务表现是不同结论,误差小不代表任意设备逐位相同。
04 工程场景与排错思路
服务接口里先用与模型匹配的Tokenizer计算预算,再决定截断。若问答突然出现乱码或角色标记,检查增量解码、特殊ID与聊天模板,而不是首先断定权重损坏;如果改了词表,必须同步解释嵌入与输出头如何对齐。
05 面试问答与追问
问题1:token就等于一个汉字吗?
不是,取决于分词规则,一个token可以是字节、子词或多个字符;上下文和成本应按实际Tokenizer统计。
问题2:Embedding是用token ID做线性回归吗?
不是,ID是离散索引,用于选择参数矩阵的一行,不通过ID数值大小表达语义距离。
问题3:one-hot乘法完全等价于Embedding吗?
普通查表前向可对应,但padding_idx等反向约定要另行处理。本例不把未修改的one-hot导数当作PAD梯度参考。
问题4:设置padding_idx就不需要mask了吗?
不够。嵌入行梯度、损失忽略和注意力可见范围是不同机制,应分别设计并验证。
问题5:字节词表能处理中文就不会乱码吗?
不能保证生成字节始终构成合法UTF-8;逐字节流还可能处于不完整状态,需要明确增量解码与坏序列处理。
问题6:只保存模型权重足够部署吗?
还要匹配Tokenizer、特殊ID、模板与配置。改变映射即使维度不变,也会改变输入和输出语义。
06 本篇回顾与练习
复习时先明确轴、目标、精度和接口语义,再推导运算并预测小例子的输出。实现通过后仍需独立验收数据、评价与部署条件;不能把合成记忆或数值一致性当成真实语言能力。
| 练习 | 思路与验收重点 |
|---|---|
| 比较码点和字节计数 | 选中文、英文和组合符号,说明为何与token预算不同。 |
| 验证重复token梯度 | 手算出现次数,再单独处理PAD的反向约定。 |
| 实现字节流解码 | 把中文拆成单字节输入,检查最终拼接与原文一致。 |
延伸阅读:PyTorch Embedding与padding_idx。练习提示不等于额外完整题解,接口与默认值按实际版本核对。