在大语言模型（Large Language Models, LLMs）中，Token 是模型处理文本的基本单位 。理解 Token 的概念对于使用和优化大模型非常重要，尤其是在调用 API 时涉及 成本计算、输入长度限制、性能优化 等方面。
🔍 一、什么是 Token？
Token 可以简单理解为：文本被切分后的"词块"或"语义单元"。
大模型不能直接处理原始字符串（如 "你好，世界！"），而是需要先将文本 通过 分词器（Tokenizer） 转换成数字序列 ------每个数字对应一个 token。
✅ 举个例子：
句子：
Hello, I love AI.经过分词后可能变成以下 tokens：
["Hello", ",", " I", " love", " AI", "."]共 6 个 tokens
注意：空格也可能被视为一部分（比如 " I" 包含空格）。
🌐 二、不同语言的 Token 划分方式
1. 英文
- 通常以 单词 + 标点符号 为单位。
- 常见子词分割算法：Byte Pair Encoding (BPE)，由 OpenAI 使用。
示例：
"ChatGPT is amazing!"
→ ["Chat", "G", "PT", " is", " amazing", "!"] （约 6 tokens）小词（如 "the", "is"）通常是独立 token；复杂词可能被拆开。
2. 中文
- 中文没有天然空格，所以每个 汉字或短语 可能成为一个 token。
- Qwen、ERNIE、ChatGLM 等中文模型会对中文进行更细粒度的切分。
示例：
"我爱人工智能"
→ ["我", "爱", "人工", "智能"] 或 ["我", "爱", "人工智能"]不同模型的分词策略不同，有的倾向于保留完整词语。
🧮 三、Token 数量如何影响使用？
1. 决定输入/输出长度
每种模型都有最大上下文长度限制，例如：
| 模型 | 最大上下文长度（token 数） |
|---|---|
| GPT-3.5-turbo | 16,384 tokens |
| GPT-4 | 32,768 tokens（部分版本支持 128K） |
| Qwen-turbo | 32,768 tokens |
| Qwen-max | 8,192 ~ 32,768 |
如果你输入的内容超过这个限制，API 会报错或自动截断。
2. 影响计费成本
大多数 LLM 平台按 输入 + 输出的 token 数量收费。
示例（OpenAI）：
输入：100 tokens
输出：50 tokens
总费用 = (100 + 50) × 单价示例（阿里云 DashScope - Qwen）：
| 模型 | 输入价格（元 / 千 token） | 输出价格（元 / 千 token） |
|---|---|---|
| qwen-turbo | 0.008 | 0.012 |
| qwen-plus | 0.02 | 0.02 |
所以控制 token 使用量 = 控制成本！
3. 影响响应速度
- token 越多，模型需要处理的信息越多 → 延迟越高
- 特别是长上下文对话，可能导致响应变慢
🔧 四、如何估算 Token 数量？
方法 1：使用官方工具
▶ OpenAI 提供 tokenizer 工具（tiktoken）
import tiktoken
enc = tiktoken.encoding_for_model("gpt-3.5-turbo")
text = "你好，世界！Hello, world!"
tokens = enc.encode(text)
print(f"Token 数量: {len(tokens)}") # 输出类似：10
print(f"Tokens 列表: {tokens}")
▶ 阿里云 Qwen（DashScope）也提供在线计算器：
🔗 https://help.aliyun.com/zh/dashscope/developer-reference/quick-start
或者使用 transformers 库估算 Qwen 的 token 数：
from transformers import AutoTokenizer
tokenizer = AutoTokenizer.from_pretrained("Qwen/Qwen-7B-Chat", trust_remote_code=True)
text = "你好，通义千问！"
tokens = tokenizer.encode(text)
print(len(tokens)) # 输出 token 数量
🎯 五、常见问题解答（FAQ）
| 问题 | 回答 |
|---|---|
| ❓ 1 个汉字 = 几个 token？ | 大约 1~2 个 token（中文平均 1.5 左右） |
| ❓ 英文单词 always 是 1 个 token 吗？ | 不一定，生僻词或复合词会被拆分（如 "ChatGPT" → "Chat" + "G" + "PT"） |
| ❓ 标点符号算 token 吗？ | 是的，每个标点都可能是一个 token |
| ❓ 空格算不算？ | 在某些 tokenizer 中，" hello" 中的空格属于 token 的一部分 |
| ❓ 如何减少 token 消耗？ | 精简提示词、避免重复内容、使用摘要代替全文 |
| ❓ 一句话中，相同的单词如何计算token？ | 在一句话中，相同的单词会被独立地转换为 Token，即使重复出现，每个实例都会单独计入总 Token 数。 |
📊 六、实际估算参考（经验值）
| 内容类型 | 字数 vs Token 数近似关系 |
|---|---|
| 中文文本 | 1 token ≈ 1.5～2 个汉字 |
| 英文文本 | 1 token ≈ 4 个英文字符 或 0.75 个单词 |
| 混合内容 | 视具体情况而定 |
👉 举例：
- 一段 1000 字的中文文章 ≈ 600～700 tokens
- 一篇英文技术文档（500 words）≈ 650 tokens
✅ 总结
| 关键点 | 说明 |
|---|---|
| 🔹 Token 是什么？ | 文本被模型切分后的基本单位 |
| 🔹 为什么重要？ | 决定长度限制、费用、速度 |
| 🔹 中文怎么算？ | 一般 1~2 token/字 |
| 🔹 英文怎么算？ | 常见词 1 个 token，复杂词会拆分 |
| 🔹 怎么查看？ | 用 tiktoken（OpenAI）、transformers.Tokenizer（Qwen）等工具 |
| 🔹 如何节省？ | 缩短输入、删除冗余信息、合理设计 prompt |
📌 建议实践： 下次调用 OpenAI 或 Qwen API 前，先用 tokenizer 预估一下 token 数量，避免超限或浪费预算！
如果你希望我帮你写一个 自动计算 token 并预估费用的小工具脚本，欢迎告诉我