在前面几节，你了解了 token 的概念以及对文本进行分词的大致过程后。
本节给出一个使用 GPT4 模型（当前 OpenAI 最强大的模型）拆分 token 并将拆分结果进行可视化的网站，你可以去这个网站上测试一下分词效果。
网址：platform.openai.com/ tokenizer
使用说明
通过该网站，你可以了解一段文本如何被 GPT-4 模型分词的，以及文本的被分词之后的 token 总数是多少。
比如像下面这样。
我输入一段英文文本，结果显示被拆分成了 57 个 token ，每个 token 在最下方使用不同颜色进行了标注。
当输入文本中含有 debugger 时，文本被拆分为了 debug 和##ger，这和之前几节文章中的分析是一致的，说明 debug 确实是一个非常常见的基础子词。
当然你也可以将 token 转换为 token ID 来查看，关于 token ID，后面会详细介绍其作用。
需要注意的是，文本分词后的 token 序列结果与模型有关。像GPT-3.5 和 GPT-4 这样的模型使用的方法与旧模型会有不同，不同的分词算法对于相同的输入文本也会产生不同的 token 序列。 按照 GPT-4 官方给出的经验数据：对于常见的英文文本，一个 token 大概对应 4 个英文字符，大约相当于 3/4 个单词，所以 100 个 token 大约等于 75 个单词。
我创建了一个《小而精的AI学习圈》知识星球，星球上有几十万字原创高质量的技术专栏分享，同时你也可以在星球向我提问。 点击这里，我们星球见！ >>>
点击这里查看所有 AI 技术专栏