快速理解 tiktoken:OpenAI 模型的高效 BPE 分词器

什么是 tiktoken?

tiktoken 是一个为 OpenAI 模型设计的快速 BPE(Byte Pair Encoding) 分词器。它可以快速地将文本转换为模型可以理解的数字序列(称为 tokens)。

为什么需要 BPE?

  • 可逆且无损:可以将 tokens 恢复成原始文本。
  • 适用于任意文本:即使文本不在训练数据中,也能正常工作。
  • 压缩文本:tokens 序列比原始文本短,平均每个 token 对应约 4 个字节。
  • 识别子词:帮助模型识别常见的子词(如 "ing"),从而更好地理解语法。

tiktoken 的优势

  • 速度快:比其他开源分词器快 3 到 6 倍。
  • 易于使用:可以通过 PyPI 安装,使用简单。

使用 tiktoken

安装

bash 复制代码
pip install tiktoken

基本用法

python 复制代码
import tiktoken

# 获取特定模型的编码器
enc = tiktoken.encoding_for_model("gpt-4o")

# 编码和解码文本
encoded_text = enc.encode("hello world")
decoded_text = enc.decode(encoded_text)
print(decoded_text)  # 输出:hello world

扩展 tiktoken

如果你想添加新的编码方式,可以通过以下两种方法:

  1. 直接创建 Encoding 对象:

    python 复制代码
    # 获取现有的编码器
    cl100k_base = tiktoken.get_encoding("cl100k_base")
    
    # 创建新的编码器
    enc = tiktoken.Encoding(
        name="cl100k_im",
        pat_str=cl100k_base._pat_str,
        mergeable_ranks=cl100k_base._mergeable_ranks,
        special_tokens={
            **cl100k_base._special_tokens,
            "": 100264,
            "": 100265,
        }
    )
  2. 使用 tiktoken_ext 插件机制:

    • 创建一个命名空间包 tiktoken_ext。
    • 在 my_encodings.py 中定义 ENCODING_CONSTRUCTORS 字典。
    • 编写 setup.py 文件并安装扩展包。
    python 复制代码
    # setup.py 示例
    from setuptools import setup, find_namespace_packages
    
    setup(
        name="my_tiktoken_extension",
        packages=find_namespace_packages(include=['tiktoken_ext*']),
        install_requires=["tiktoken"],
        # ...
    )

    安装后即可使用自定义的编码器。

学习更多

如果你想了解更多关于 BPE 的细节,tiktoken 提供了一个教育子模块,可以帮助你通过代码来可视化 BPE 过程。

python 复制代码
from tiktoken._educational import *

# 训练一个简单的 BPE 编码器
enc = train_simple_encoding()

# 可视化 GPT-4 编码器如何编码文本
enc = SimpleBytePairEncoding.from_tiktoken("cl100k_base")
enc.encode("hello world aaaaaaaaaaaa")
相关推荐
AvocadoZeroOneOI18 分钟前
B4500 [GESP202603 三级] 凯撒密码 详细解题报告
c++·算法
杨凯凡2 小时前
IT日报|2026-11-20:欧盟 AI 网络攻击、Valkey 9.2、GitHub 企业迁移
人工智能·github
TunerT_TQ2 小时前
Terraform OCI Provider 2026:工具链的骨架清晰可见,CRUD 的肌肉必须由你亲自验证
github
cjz38992 小时前
双指针技巧:覆盖式双指针(原地覆盖)
算法
prince_zxill3 小时前
把 17 个散文件装进一个文件夹:拆解 claude-plugins-official 的插件打包术(47,413 Star 实测)
python·github·agent·mcp·claude code
wflynn3 小时前
GitHub 日榜趋势速报 | 2026-11-20
开源·github
TunerT_TQ5 小时前
【开源评测】google-labs-code/stitch-skills:从设计交接到可检查的组件产物
github
橘子136 小时前
【高级数据库】关系代数基本概念
算法
im_AMBER6 小时前
CDC 对账:数据同步之后,如何验证源库与目标库一致
后端·mysql·面试
一条Go6 小时前
探测规则:为什么它是告警规则的一种,而不是独立的任务体系
后端·架构·github