Transformer 通关秘籍4:GPT4 模型的 tokenization 的可视化网站

在前面几节,你了解了 token 的概念以及对文本进行分词的大致过程后。

本节给出一个使用 GPT4 模型(当前 OpenAI 最强大的模型)拆分 token 并将拆分结果进行可视化的网站,你可以去这个网站上测试一下分词效果。

网址:platform.openai.com/ tokenizer

使用说明

通过该网站,你可以了解一段文本如何被 GPT-4 模型分词的,以及文本的被分词之后的 token 总数是多少。

比如像下面这样。

我输入一段英文文本,结果显示被拆分成了 57 个 token ,每个 token 在最下方使用不同颜色进行了标注。

当输入文本中含有 debugger 时,文本被拆分为了 debug 和##ger,这和之前几节文章中的分析是一致的,说明 debug 确实是一个非常常见的基础子词。

当然你也可以将 token 转换为 token ID 来查看,关于 token ID,后面会详细介绍其作用。

需要注意的是,文本分词后的 token 序列结果与模型有关。像GPT-3.5 和 GPT-4 这样的模型使用的方法与旧模型会有不同,不同的分词算法对于相同的输入文本也会产生不同的 token 序列。 按照 GPT-4 官方给出的经验数据:对于常见的英文文本,一个 token 大概对应 4 个英文字符,大约相当于 3/4 个单词,所以 100 个 token 大约等于 75 个单词。

我创建了一个《小而精的AI学习圈》知识星球,星球上有几十万字原创高质量的技术专栏分享,同时你也可以在星球向我提问。 点击这里,我们星球见! >>>
点击这里查看所有 AI 技术专栏

相关推荐
qqxhb1 小时前
零基础数据结构与算法——第四章:基础算法-排序(上)
java·数据结构·算法·冒泡·插入·选择
FirstFrost --sy3 小时前
数据结构之二叉树
c语言·数据结构·c++·算法·链表·深度优先·广度优先
森焱森3 小时前
垂起固定翼无人机介绍
c语言·单片机·算法·架构·无人机
搂鱼1145143 小时前
(倍增)洛谷 P1613 跑路/P4155 国旗计划
算法
Yingye Zhu(HPXXZYY)3 小时前
Codeforces 2021 C Those Who Are With Us
数据结构·c++·算法
无聊的小坏坏4 小时前
三种方法详解最长回文子串问题
c++·算法·回文串
长路 ㅤ   5 小时前
Java后端技术博客汇总文档
分布式·算法·技术分享·编程学习·java后端
秋说5 小时前
【PTA数据结构 | C语言版】两枚硬币
c语言·数据结构·算法
qq_513970445 小时前
力扣 hot100 Day37
算法·leetcode
不見星空5 小时前
leetcode 每日一题 1865. 找出和为指定值的下标对
算法·leetcode