【大模型算法与工程 14】Tokenizer与Embedding:文本如何变成模型输入

文章目录

01 本篇要解决什么问题

同样一段中文,不同Tokenizer可能产生不同长度。token ID不是词义本身,Embedding也不是把整数当连续数值直接送入网络。本篇先建立从文本到ID、再到向量的契约,用完全离线的UTF-8字节分词器观察边界。

02 核心原理、公式与条件

(1)字符、字节和token不是同一单位

Python字符串长度按Unicode码点计,UTF-8把码点编码成字节,Tokenizer再依据自己的规则输出token。一个汉字可能占多个UTF-8字节,一个子词token也可能覆盖多个字符;用户可见字形又未必只有一个码点。

模型上下文限制通常以其Tokenizer的token数度量,不能把"几千字"直接替代token预算。比较成本时要固定文本、Tokenizer版本和特殊token规则,不能把不同词表的长度当成模型理解能力排名。

(2)子词方法是如何折中

BPE通过合并规则组织常见片段,WordPiece和Unigram等有不同建模与选择方式。工程实现还包括规范化、预分词、字节回退和解码规则,不能只背一个算法名就认为能复现完整Tokenizer。

本篇没有训练BPE,而是使用固定字节词表:ID0为PAD,1为BOS,2为EOS,3保留未使用,0---255字节映射到4---259。固定260项词表能表示合法UTF-8文本,不需要从测试文本学习新词表,但通常比成熟子词编码产生更多token。

(3)特殊token是协议的一部分

BOS、EOS、PAD含义不同:起点、结束与批量补齐不能随意复用。真实对话模型还可能有角色与轮次边界,模板和权重必须匹配,不能手工拼几个角色名就声称复现官方聊天协议。

本例decode跳过三个已定义特殊ID,拒绝保留ID3和非法ID。它并不保证还原特殊符号的文本表示,也不是任何现有模型的官方Tokenizer。保存模型时还应保存映射、特殊ID及相关版本。

(4)嵌入是查表,不是把ID当数值大小

设词表大小V、向量宽度D,嵌入参数 E ∈ R V × D E\in\mathbb R^{V\times D} E∈RV×D,ID对应某一行。输入B,T得到B,T,D,ID需为合法整数索引;ID100不是ID50的两倍语义。

前向查表可与one-hot矩阵乘E比较,但真实训练通常不构造庞大的one-hot。相同token多次出现时,其行梯度累加;没被使用的行在该查表分支没有相应贡献。

(5)padding_idx增加了反向约定

nn.Embedding的padding_idx会让对应行在该嵌入查表反向中不累积普通梯度。本例初始PAD行是零,所以前向与one-hot乘法相同;但若直接对未作特殊处理的one-hot乘法反向,PAD行导数并不会自动为零。

因此实验将PAD计数明确设0,再与查表梯度核对。该约定不等于任意优化器、权重共享路径或手工写入都永远无法改变这行参数;分析时要说明是哪条计算路径的性质。

(6)忽略padding标签不等于屏蔽padding注意力

ignore_index用于损失,把某些目标位置排除;key padding mask用于注意力,阻止其他query读取补齐的key。两者作用阶段不同,只忽略标签仍可能让模型从输入补齐处读取信息。

本篇验证被忽略目标位置的logit梯度为0;第16篇会进一步处理key屏蔽和补齐query的输出。本例不把padding_idx、ignore_index和attention mask混成一个万能开关。

(7)字节生成需要增量解码

如果生成一个中文字符的前几个字节就立刻严格解码,可能报不完整UTF-8错误;直接替换错误字符又可能破坏后续显示。本例使用增量解码器,逐字节输入,待完整编码形成后再输出字符。

可表示任意合法输入文本,不等于模型生成的任意字节序列都合法。严格decode可能拒绝坏序列,产品需要明确错误与流式展示策略,不能把这个教学Tokenizer当作已经解决所有输出编码问题。

(8)把预处理和权重一起交付

改变词表顺序会改变嵌入行的含义,输入看起来仍是合法整数,却可能完全错配模型。模型迁移时应核对词表、特殊ID、分词规范和模板,而不只是检查权重能否load。

实验保存文本、码点数、字节数和ID序列,并核对含中文与表情文本的往返。统计用于说明单位差异,不评测分词质量或语言泛化,也不从这几个样本得出某类分词算法普遍更优。

03 手写实现、实验与真实结果

核心组件

以下与examples/transformer_core.py中的实现一致;完整模块也收录在公共代码附录。正文入口从该模块导入,按目录保留文件即可运行。

python 复制代码
import math
import torch
from torch import nn

class ByteTokenizer:
    pad_id,bos_id,eos_id=0,1,2
    vocab_size=260  # 3 reserved specials, one unused reserved ID 3, 256 bytes
    def encode(self,text,bos=False,eos=False):
        return ([1] if bos else [])+[b+4 for b in text.encode('utf-8')]+([2] if eos else [])
    def decode(self,ids):
        data=[]
        for i in ids:
            if i in [0,1,2]: continue
            if not 4<=i<260: raise ValueError('invalid or unsupported reserved token')
            data.append(i-4)
        return bytes(data).decode('utf-8',errors='strict')

完整实验入口

在解压根目录运行python examples/lesson_14.py,保留tf_common.py与transformer_core.py。先按README安装CPU依赖,之后无需联网或下载权重;不使用会关闭断言的python -O。

python 复制代码
import codecs,torch
from torch import nn
from torch.nn import functional as F
from transformer_core import ByteTokenizer
from tf_common import output_dir,finish,table,figure,plt
def main():
    out=output_dir(14); torch.manual_seed(1414); torch.set_num_threads(1)
    tokenizer=ByteTokenizer(); texts=['MRI重建','attention','你好🙂']
    sequences=[tokenizer.encode(t,bos=True,eos=True) for t in texts]
    for text,ids in zip(texts,sequences): assert tokenizer.decode(ids)==text
    T=max(map(len,sequences)); ids=torch.zeros(len(texts),T,dtype=torch.long)
    for i,row in enumerate(sequences): ids[i,:len(row)]=torch.tensor(row)
    embedding=nn.Embedding(260,8,padding_idx=0).double(); result=embedding(ids)
    one_hot=F.one_hot(ids,num_classes=260).double()@embedding.weight
    assert torch.allclose(result,one_hot)
    result.sum().backward(); counts=torch.bincount(ids.flatten(),minlength=260).double(); counts[0]=0
    assert torch.equal(embedding.weight.grad,counts[:,None].expand(260,8))
    logits=torch.randn(2,3,260,dtype=torch.double,requires_grad=True); labels=torch.tensor([[1,2,0],[4,0,0]])
    loss=F.cross_entropy(logits.reshape(-1,260),labels.flatten(),ignore_index=0)
    loss.backward(); assert torch.equal(logits.grad[labels==0],torch.zeros_like(logits.grad[labels==0]))
    text='你🙂'; raw=text.encode('utf-8'); decoder=codecs.getincrementaldecoder('utf-8')()
    pieces=[decoder.decode(bytes([b]),final=False) for b in raw]; pieces.append(decoder.decode(b'',final=True))
    assert ''.join(pieces)==text
    rejected=False
    try: tokenizer.decode([3])
    except ValueError: rejected=True
    assert rejected
    table(out/'tokenized.csv',['text','character_count','byte_tokens_without_specials','ids'],[(t,len(t),len(t.encode('utf-8')),str(row)) for t,row in zip(texts,sequences)])
    fig,ax=plt.subplots(figsize=(8,4),constrained_layout=True)
    ax.bar([0,1,2],[len(t) for t in texts],width=.35,label='Python code points')
    ax.bar([.35,1.35,2.35],[len(t.encode('utf-8')) for t in texts],width=.35,label='UTF-8 bytes')
    ax.set(xticks=[.175,1.175,2.175],xticklabels=['MRI + Chinese','attention','Chinese + emoji'],ylabel='count',title='Different units; not an industry tokenizer benchmark'); ax.legend(); figure(fig,out)
    finish(out,{'vocab_size':260,'embedding_shape':list(result.shape),'roundtrips_passed':len(texts),
                'embedding_gradient_matches_token_counts':True,'pad_target_gradient_zero':True,'incremental_UTF8_roundtrip':True,
                'scope':'homemade byte tokenizer; no trained BPE/WordPiece/SentencePiece or official chat template; no vocabulary learning'})
if __name__=='__main__': main()

中文、英文和表情文本字节往返;嵌入前向对照one-hot、查表梯度对照出现计数并单独处理PAD;被忽略标签logit梯度为0;增量UTF-8解码可拼回原文。没有训练子词词表。

本次实际运行

json 复制代码
{
  "vocab_size": 260,
  "embedding_shape": [
    3,
    12,
    8
  ],
  "roundtrips_passed": 3,
  "embedding_gradient_matches_token_counts": true,
  "pad_target_gradient_zero": true,
  "incremental_UTF8_roundtrip": true,
  "scope": "homemade byte tokenizer; no trained BPE/WordPiece/SentencePiece or official chat template; no vocabulary learning"
}

图由实际CSV和程序生成,未平滑或补造;SVG、JSON与明细保留在实验结果目录。前向、梯度、结构与最终任务表现是不同结论,误差小不代表任意设备逐位相同。

04 工程场景与排错思路

服务接口里先用与模型匹配的Tokenizer计算预算,再决定截断。若问答突然出现乱码或角色标记,检查增量解码、特殊ID与聊天模板,而不是首先断定权重损坏;如果改了词表,必须同步解释嵌入与输出头如何对齐。

05 面试问答与追问

问题1:token就等于一个汉字吗?

不是,取决于分词规则,一个token可以是字节、子词或多个字符;上下文和成本应按实际Tokenizer统计。

问题2:Embedding是用token ID做线性回归吗?

不是,ID是离散索引,用于选择参数矩阵的一行,不通过ID数值大小表达语义距离。

问题3:one-hot乘法完全等价于Embedding吗?

普通查表前向可对应,但padding_idx等反向约定要另行处理。本例不把未修改的one-hot导数当作PAD梯度参考。

问题4:设置padding_idx就不需要mask了吗?

不够。嵌入行梯度、损失忽略和注意力可见范围是不同机制,应分别设计并验证。

问题5:字节词表能处理中文就不会乱码吗?

不能保证生成字节始终构成合法UTF-8;逐字节流还可能处于不完整状态,需要明确增量解码与坏序列处理。

问题6:只保存模型权重足够部署吗?

还要匹配Tokenizer、特殊ID、模板与配置。改变映射即使维度不变,也会改变输入和输出语义。

06 本篇回顾与练习

复习时先明确轴、目标、精度和接口语义,再推导运算并预测小例子的输出。实现通过后仍需独立验收数据、评价与部署条件;不能把合成记忆或数值一致性当成真实语言能力。

练习 思路与验收重点
比较码点和字节计数 选中文、英文和组合符号,说明为何与token预算不同。
验证重复token梯度 手算出现次数,再单独处理PAD的反向约定。
实现字节流解码 把中文拆成单字节输入,检查最终拼接与原文一致。

延伸阅读:PyTorch Embedding与padding_idx。练习提示不等于额外完整题解,接口与默认值按实际版本核对。

下一篇:15|手写Self-Attention:Q、K、V与缩放点积。

相关推荐
饮水桶_T1 小时前
Python 面向对象(十七)|继承、封装、多态 笔记
数据结构·笔记·算法
地平线开发者4 小时前
让 AI Agent 和 征程6 台架高效、稳定、安全地协作
算法·安全·自动驾驶
kyle~5 小时前
SHA-256 哈希去重
算法·哈希算法
风落青芜8 小时前
链式二叉树的实现与基本操作
c语言·开发语言·数据结构·算法
LiaoWL1239 小时前
从零搭一个 RAG 知识库(二):换上语义 Embedding——BGE 实测与阈值重校准
python·大模型·numpy·embedding·向量检索·rag
青少儿编程课堂9 小时前
蓝桥杯·全国青少年信息素养大赛·电子学会Python/C++考级:中国剩余定理解析
c++·python·算法·bfs·信息学竞赛
罗西的思考1 天前
【轻量化复刻大模型 / KIMI K3】Muon 优化器及 训练系统
人工智能·算法·机器学习
ashiho1 天前
【LeetCode hot 100】3. 无重复字符的最长子串 (三种解法)
java·数据结构·后端·算法·leetcode·滑动窗口
数据工匠老o1 天前
数据库没死,业务卡住了:行锁等待、元数据锁、长事务的排查路径
数据库·算法·架构