在AI领域，词元（Token） 是大语言模型处理文本时使用的基本单位。它指的是模型将输入文本分割成的一个个片段，这些片段可以是单词、子词、单个字符甚至标点符号。
核心要点：
-
分词（Tokenization）：将文本转换成词元序列的过程，是模型理解文本的第一步。
-
数字化：每个独特的词元都会被映射成一个唯一的数字ID，以便模型进行计算。
-
并非总是"词"：例如，英文中"playing"可能被分成"play"和"ing"两个子词词元；中文中，一个汉字、一个词语或一个标点都可能是一个独立的词元。
-
影响与限制：模型的上下文长度（如128K）就是指它能处理的词元总数上限。同时，计费也常以词元数为基础。
简单例子：
句子"我爱AI。"可能会被分词为 ["我", "爱", "AI", "。"] 四个词元，然后每个词元被转换为对应的数字ID输入模型。