快速理解 tiktoken:OpenAI 模型的高效 BPE 分词器

什么是 tiktoken?

tiktoken 是一个为 OpenAI 模型设计的快速 BPE(Byte Pair Encoding) 分词器。它可以快速地将文本转换为模型可以理解的数字序列(称为 tokens)。

为什么需要 BPE?

  • 可逆且无损:可以将 tokens 恢复成原始文本。
  • 适用于任意文本:即使文本不在训练数据中,也能正常工作。
  • 压缩文本:tokens 序列比原始文本短,平均每个 token 对应约 4 个字节。
  • 识别子词:帮助模型识别常见的子词(如 "ing"),从而更好地理解语法。

tiktoken 的优势

  • 速度快:比其他开源分词器快 3 到 6 倍。
  • 易于使用:可以通过 PyPI 安装,使用简单。

使用 tiktoken

安装

bash 复制代码
pip install tiktoken

基本用法

python 复制代码
import tiktoken

# 获取特定模型的编码器
enc = tiktoken.encoding_for_model("gpt-4o")

# 编码和解码文本
encoded_text = enc.encode("hello world")
decoded_text = enc.decode(encoded_text)
print(decoded_text)  # 输出:hello world

扩展 tiktoken

如果你想添加新的编码方式,可以通过以下两种方法:

  1. 直接创建 Encoding 对象

    python 复制代码
    # 获取现有的编码器
    cl100k_base = tiktoken.get_encoding("cl100k_base")
    
    # 创建新的编码器
    enc = tiktoken.Encoding(
        name="cl100k_im",
        pat_str=cl100k_base._pat_str,
        mergeable_ranks=cl100k_base._mergeable_ranks,
        special_tokens={
            **cl100k_base._special_tokens,
            "": 100264,
            "": 100265,
        }
    )
  2. 使用 tiktoken_ext 插件机制

    • 创建一个命名空间包 tiktoken_ext
    • my_encodings.py 中定义 ENCODING_CONSTRUCTORS 字典。
    • 编写 setup.py 文件并安装扩展包。
    python 复制代码
    # setup.py 示例
    from setuptools import setup, find_namespace_packages
    
    setup(
        name="my_tiktoken_extension",
        packages=find_namespace_packages(include=['tiktoken_ext*']),
        install_requires=["tiktoken"],
        # ...
    )

    安装后即可使用自定义的编码器。

学习更多

如果你想了解更多关于 BPE 的细节,tiktoken 提供了一个教育子模块,可以帮助你通过代码来可视化 BPE 过程。

python 复制代码
from tiktoken._educational import *

# 训练一个简单的 BPE 编码器
enc = train_simple_encoding()

# 可视化 GPT-4 编码器如何编码文本
enc = SimpleBytePairEncoding.from_tiktoken("cl100k_base")
enc.encode("hello world aaaaaaaaaaaa")
相关推荐
被AI抢饭碗的人26 分钟前
算法题(246):负环(bellman_ford算法)
算法
沐怡旸1 小时前
【穿越Effective C++】条款7:为多态基类声明virtual析构函数——C++多态资源管理的基石
c++·面试
北塔软件1 小时前
各品牌服务器IPMI配置实战经验分享
服务器·git·github
大数据张老师1 小时前
数据结构——折半查找
数据结构·算法·查找·折半查找
Achieve前端实验室2 小时前
【每日一面】async/await 的原理
前端·javascript·面试
熬了夜的程序员2 小时前
【LeetCode】87. 扰乱字符串
算法·leetcode·职场和发展·排序算法
德莱厄斯2 小时前
没开玩笑,全框架支持的 dialog 组件,支持响应式
前端·javascript·github
是码农一枚2 小时前
全域感知,主动预警:视频汇聚平台EasyCVR打造水库大坝智慧安防视频监控智能分析方案
算法
MicroTech20252 小时前
微算法科技(NASDAQ MLGO)探索自适应差分隐私机制(如AdaDP),根据任务复杂度动态调整噪声
人工智能·科技·算法
是码农一枚2 小时前
全域互联,统一管控:EasyCVR构建多区域视频监控“一网统管”新范式
算法