Transformer 通关秘籍4:GPT4 模型的 tokenization 的可视化网站

在前面几节,你了解了 token 的概念以及对文本进行分词的大致过程后。

本节给出一个使用 GPT4 模型(当前 OpenAI 最强大的模型)拆分 token 并将拆分结果进行可视化的网站,你可以去这个网站上测试一下分词效果。

网址:platform.openai.com/ tokenizer

使用说明

通过该网站,你可以了解一段文本如何被 GPT-4 模型分词的,以及文本的被分词之后的 token 总数是多少。

比如像下面这样。

我输入一段英文文本,结果显示被拆分成了 57 个 token ,每个 token 在最下方使用不同颜色进行了标注。

当输入文本中含有 debugger 时,文本被拆分为了 debug 和##ger,这和之前几节文章中的分析是一致的,说明 debug 确实是一个非常常见的基础子词。

当然你也可以将 token 转换为 token ID 来查看,关于 token ID,后面会详细介绍其作用。

需要注意的是,文本分词后的 token 序列结果与模型有关。像GPT-3.5 和 GPT-4 这样的模型使用的方法与旧模型会有不同,不同的分词算法对于相同的输入文本也会产生不同的 token 序列。 按照 GPT-4 官方给出的经验数据:对于常见的英文文本,一个 token 大概对应 4 个英文字符,大约相当于 3/4 个单词,所以 100 个 token 大约等于 75 个单词。

我创建了一个《小而精的AI学习圈》知识星球,星球上有几十万字原创高质量的技术专栏分享,同时你也可以在星球向我提问。 点击这里,我们星球见! >>>
点击这里查看所有 AI 技术专栏

相关推荐
努力的小帅21 分钟前
C++_红黑树树
开发语言·数据结构·c++·学习·算法·红黑树
CoovallyAIHub32 分钟前
YotoR模型:Transformer与YOLO新结合,打造“又快又准”的目标检测模型
深度学习·算法·计算机视觉
孟大本事要学习37 分钟前
算法第29天|动态规划dp2:不同路径、不同路径Ⅱ、整数拆分、不同的二叉搜索树
算法·动态规划
ezl1fe1 小时前
RAG 每日一技(九):你的RAG是“人工智障”还是“真智能”?聊聊RAG的评估
后端·算法
এ᭄画画的北北2 小时前
力扣-51.N皇后
算法·leetcode
qqxhb2 小时前
零基础数据结构与算法——第六章:算法设计范式与高级主题-设计技巧(上)
java·数据结构·算法·分解·空间换时间·时空平衡
2 小时前
LeetCode Hot 100 搜索二维矩阵
算法·leetcode·矩阵
小新学习屋2 小时前
《剑指offer》-算法篇-位运算
python·算法·leetcode·职场和发展·数据结构与算法
Swiler2 小时前
数据结构第2问:什么是算法?
数据结构·人工智能·算法
鼠鼠一定要拿到心仪的offer2 小时前
Day23-二叉树的层序遍历(广度优先搜素)
数据结构·算法·leetcode