【NLP基础知识系列课程-Tokenizer的前世今生第一课】Tokenizer 是什么?为什么重要?

语言的"颗粒度":我们到底在切什么?

我们都知道模型要处理文本,第一步是把一段段字符变成"token"。但这些 token 究竟应该是句子、单词,还是更小的片段,比如"un + break + able"?

这背后涉及的是一个非常核心的问题:我们到底用什么单位来让模型"看懂"语言?这个单位,就叫做 token,而设计这个单位的方式,就是 tokenizer。

Tokenizer 就像语言世界的切割刀,它决定了模型从多大、从哪里开始理解文本。粗了,信息不够细;细了,理解变得困难。


Tokenizer 的作用:不仅是切词,更是理解的"格式"

我们不妨打个比方:如果把语言模型比作人脑,那 tokenizer 就是它的"眼睛"。一双合适的眼睛,能帮助我们快速捕捉信息;而模糊不清的视野,只会增加理解的负担。

当你读到"unbelievable",你可以立刻意识到它是"un + believe + able"构成的,这种构词结构能让你快速理解它的意思。如果 tokenizer 能切出这样的结构,模型自然也能更快学到"构词法"。

而如果 tokenizer 把它切成了"u + n + b + ...",模型可能就要花更多精力才能拼凑出"哦,这是一个否定+动词+形容词构成的词"。


多种颗粒度下的 Tokenizer

颗粒度 示例 优点 缺点 常见应用模型
句子级 "今天天气真不错。" 结构清晰,语言自然单位 无法细致建模,严重OOV问题 早期RNN、规则模型
单词级 "unbelievable" 易懂,训练快 新词无能为力 Word2Vec、GloVe
子词级 "un + believe + able" 词表小,无OOV,语义较好 切分复杂,训练有偏 BERT, GPT, T5 等
字符级 "u + n + b + ..." 跨语言能力强,无需词表 序列太长,学习难 CANINE、ByT5
字节级 "\x75 \x6e \x62 ..." 统一所有输入类型,无任何限制 表达太原始,需要大模型配合 GPT-2、tiktoken
区域级(图像) 图像划分的 Patch(如ViT) 可以对图像输入统一处理 不一定与语言token天然对齐 CLIP, BLIP, Flamingo 等

我们可以看到,从语义结构最强的"句子"到最原始的"字节",Tokenizer 划分的单位越小,信息越精细,但模型所承担的"组合理解"任务也越大。


Tokenizer 是怎么"切"的?

除了"切多大",另一个问题是"怎么切"。有两种主要方式:

自下而上(从细到粗)

这是像 BPE、WordPiece 采用的方式。它们会从字符出发,看哪些字符经常一起出现,就把它们合并成一个 token。

比如:

  • "t" + "h" = "th"
  • "th" + "e" = "the"

这就像小朋友拼积木:经常拼在一起的,就变成一个新块。

自上而下(从粗到细)

UnigramLM 则反其道而行之:先给出一个大词表,然后剪掉那些"不太重要的"子词。

这种方式的好处是:

  • 可以保留多种切分方式
  • 允许在训练中做"随机切分",增强模型泛化能力

它特别适合像中文、日文这种没有空格的语言。

自动学习(可学习的Tokenizer)

最近的趋势是:让模型自己学!

例如:MxDNA 会让模型自己决定"这个DNA序列该怎么切",而不是你提前设定好。LaVIT 等多模态模型甚至可以自动学习图像要分几个 token。

这说明:Tokenizer 已经不只是静态规则,而是可以作为模型的一部分,由数据驱动学习得来。


小结:Tokenizer 是理解的设计哲学

一句话总结:Tokenizer 决定了模型"看到什么"。

它不是辅助工具,而是模型理解世界的基础。就像你戴什么样的眼镜,会直接影响你对世界的观察方式。

后续我们会聊:

  • NLP 的 Tokenizer 是如何一步步演化出来的?
  • 多模态中,图像、音频也能被"切"吗?
  • 在蛋白质、基因这类序列中,我们如何找到合适的"token"?

Tokenizer,从此不只是"切词"的代名词。

相关推荐
暴躁的大熊28 分钟前
LLM大模型时代:生活服务领域的“生存革命“与新生态重构
人工智能
Blossom.1181 小时前
基于深度学习的医学图像分析:使用MobileNet实现医学图像分类
人工智能·深度学习·yolo·机器学习·分类·数据挖掘·迁移学习
德育处主任1 小时前
「豆包」加「PromptPilot」等于「优秀员工」
人工智能·llm·aigc
字节跳动安全中心1 小时前
猎影计划:从密流中捕获 Cobalt Strike 的隐秘身影
人工智能·安全·llm
技术炼丹人1 小时前
从RNN为什么长依赖遗忘到注意力机制的解决方案以及并行
人工智能·python·算法
FreeBuf_2 小时前
AI Agents漏洞百出,恶意提示等安全缺陷令人担忧
人工智能·安全
水鳜鱼肥2 小时前
Github Spark 革新应用,重构未来
前端·人工智能
2401_831896032 小时前
机器学习(12):拉索回归Lasso
人工智能·机器学习·回归
Darach2 小时前
如何实现坐姿检测功能
人工智能·计算机视觉
CodeCraft Studio2 小时前
使用 Aspose.OCR 将图像文本转换为可编辑文本
java·人工智能·python·ocr·.net·aspose·ocr工具