什么是Token？ - 技术栈

什么是Token？------AI时代的"原子"与"货币"

如果你用过任何一款大语言模型产品，你一定见过"Token"这个词。它出现在计费账单里、API文档里、技术评测里------无处不在，但很少有人真正说清楚它到底是什么。

今天，我们用最直白的方式，把AI领域里的Token从头到尾聊透。不讲黑话，不堆术语，只讲人话。所有数据均有明确来源，可追溯、可验证。

一、Token是什么？AI的"思考积木"

在AI大语言模型（LLM）中，Token（官方中文定名"词元"）是大模型处理和交换信息的最小单位。

可以把Token理解为AI的"思考积木" 。人类用字、词、句来理解和表达世界，而AI则是通过无数个Token来"思考"和"交流"。

但这里有一个关键认知：Token既不是字，也不是词。

比如"tokenization"这个英文单词，不会被AI当作一个整体，也不会被拆成单个字母，而是被切分成类似"token"和"ization"这样的子词单元。中文也是如此------"图书馆"可能被切成"图书"和"馆"，也可能被切成"图""书""馆"，取决于具体模型的分词器。

2026年3月，国家数据局正式将AI领域的计量单位Token定名为"词元" $reference:0$ $reference:1$ 。中国工业互联网研究院在同年6月发布的《Token驱动智能经济研究报告（2026年）》中给出了权威定义：从技术维度看，Token是大模型处理多模态信息的最小离散可计算单元，是连接人类自然表达与机器智能计算的基础载体；从产业维度看，Token具备可量化、可定价、可交易、可追溯、可流通的典型特征 $reference:2$ 。

二、Token是怎么产生的？从文本到数字的"翻译"之旅

一段人类语言进入大模型之前，必须经历一个关键步骤------分词（Tokenization） 。

为什么不直接用字或词？

方案	问题
按"字"处理	序列会变得极其漫长，计算量爆炸，且单个字丢失太多语义信息。
按"词"处理	词表会无限膨胀，无法覆盖新词、生僻词和专有名词。

最优解：子词（Subword）

Tokenization在"字"和"词"之间找到了平衡------子词（Subword） 。目前最主流的分词算法是 BPE（Byte-Pair Encoding，字节对编码） ，由Sennrich等人在2016年首次引入神经机器翻译领域。

BPE的核心逻辑极其简单：

从最基本的字符开始。
在海量训练语料中，统计所有相邻字符对的出现频率。
找到出现频率最高的那一对，合并成一个新单元。
重复这个过程，直到词表大小达到预设目标。

你可以这样理解：BPE就像一个聪明的"词频合并器"。如果"图"和"书"经常挨在一起出现，BPE就会把它们合并成"图书"；如果"图书馆"也很常见，就继续合并。

一个惊人的发现：BPE"无意中"学会了语言学

2026年1月发表的一篇arXiv论文对BPE进行了大规模跨语言研究------覆盖了242种语言 。研究发现：BPE tokenization虽然只是一个纯粹的统计压缩算法，却无意中捕捉到了具有语言学意义的结构 。在15种语言 的测试中，BPE的分词与真实的词素（morpheme）边界的吻合度，比随机分割好了62%到181%。

换句话说，BPE通过纯统计学手段，"重新发明"了语言学的一部分。

三、Token如何成为"计费单位"？

你使用任何大模型API服务，费用几乎都是按Token数量计算的。因为Token直接衡量了AI的"工作量" ------处理的Token越多，消耗的算力、电力和时间就越多。

各厂商的最新Token定价（截至2026年8月）

模型	输入价格（/百万Token）	输出价格（/百万Token）	备注
Google Gemini 2.5 Pro	$1.25	$10.00	上下文窗口104万Token $reference:3$ $reference:4$
Anthropic Claude Opus 5	$5.00	$25.00	旗舰模型 $reference:5$
Anthropic Claude Sonnet 5	$2.00	$10.00	2026年8月10日起生效 $reference:6$
Anthropic Claude Haiku 4.5	$1.00	$5.00	入门级模型 $reference:7$
OpenAI GPT-5.6 Luna	$0.10	$0.60	低价策略 $reference:8$
小米 MiMo-V2.5	~$0.0028	~$0.28	最高降幅达99% $reference:9$
腾讯 Hy3	$0.126	---	九折优惠价 $reference:10$

注：以上为公开API定价，部分平台提供缓存命中折扣、峰谷定价等差异化方案。

输入Token和输出Token为什么要分开计价？

输入Token：用户发给模型的问题、文档------模型需要"阅读"它们。
输出Token：模型生成的回答------模型需要"创作"它们。

输出的计算成本通常高于输入，因为生成是自回归的------每生成一个新Token，都要基于之前所有Token重新计算一遍。

2026年最大的定价变化：峰谷定价与集体涨价

2026年3月起，国内外头部大模型厂商集体上调AI算力服务价格30%-50% $reference:11$ 。2026年8月17日，DeepSeek正式执行峰谷定价机制，成为行业标志性事件 $reference:12$ $reference:13$ 。

DeepSeek-V4-Pro最新价格（人民币/百万Token） $reference:14$ $reference:15$ ：

时段	输入（缓存未命中）	输出	输入（缓存命中）
空闲时段	4.5元	13.5元	0.15元
高峰时段	9元	27元	0.3元

高峰时段为北京时间上午9时至中午12时、下午2时至6时，其余为空闲时段 $reference:16$ 。与调价前相比，缓存命中输入最高涨幅达1100% $reference:17$ 。

Token的"贫富差距"

并非所有Token都"生而平等"。中泰证券2026年5月的深度报告指出：Token跨场景价值差达十万倍------药物研发类Token均价达1000美元/百万Token，而闲聊类仅0.01美元/百万Token $reference:18$ 。不到5%的Token消耗，创造了超过80%的可测量价值。

四、Token已经成为"新大宗商品"

2026年，英伟达CEO黄仁勳明确提出："Token是全新商品，AI电脑已成为生产Token的工厂" $reference:19$ 。Token正在从技术概念演变为经济概念。

全球数据

根据IIMMQOR发布的《2026年全球AI Token产业前景数据分析报告》（2026年8月）：

2026年全球AI Token总消耗量 预计达到 4.8×10¹⁶个 （即4800万亿个），较2025年的2.9×10¹⁶个增长65.5% $reference:20$ 。
其中推理侧Token占比从2025年的58%提升至2026年的71% ，训练侧Token占比收缩至29%------产业重心正从"训练模型"转向"部署应用" $reference:21$ 。
全球AI Token市场规模预计突破 1,420亿美元，同比增长58.2% $reference:22$ 。
预计2030年 全球AI Token年消耗量将达到 3.2×10¹⁷个 ，市场规模突破 6,800亿美元 $reference:23$ 。

高通CEO Cristiano Amon在2026年6月指出：2026年全球每10秒Token需求量约317亿个，到2030年将暴增至1.27兆个，增长约40倍 $reference:24$ $reference:25$ 。

Gartner则估计全球每日Token消耗量约300万亿，年化增长率达500%-600% $reference:26$ 。

中国市场的爆发式增长

根据国家数据局披露的数据 $reference:27$ $reference:28$ ：

中国日均Token调用量从2024年初的1000亿 跃升至2025年底的100万亿 ，2026年3月突破140万亿 ------两年增长超千倍 $reference:29$ $reference:30$ 。
国家数据局局长刘烈宏在2026年3月24日国新办发布会上表示：相比2025年底的100万亿，三个月时间又增长了40%以上 $reference:31$ 。

OpenRouter平台：中国模型登顶全球

全球最大的AI模型API聚合平台OpenRouter的数据显示：

平台周Token调用量从2025年3月的约2万亿 增长至2026年3月的20万亿以上 ，一年增长超10倍 $reference:32$ 。
截至2026年8月16日 ，平台周Token调用量已达75.3万亿，再创历史新高 $reference:33$ $reference:34$ 。
2026年2月9日至15日 ，中国大模型周调用量达到4.12万亿Token，历史上首次超过美国模型的2.94万亿 $reference:35$ 。
截至2026年8月12日 的月度调用榜显示：前七名全部为中国模型，小米MiMo-V2.5以32.8万亿Token居首，前十名中中国模型占八席 $reference:36$ $reference:37$ 。

区域格局

亚太地区预计贡献全球AI Token消耗量的41.3% ，其中中国市场独占亚太区域的62% $reference:38$ 。北美地区以35.8%紧随其后 $reference:39$ 。欧盟受数据合规要求驱动，私有化Token部署比例高达47%，显著高于全球平均的29% $reference:40$ 。

五、Token经济：重构AI产业链

Token正在从"技术单元"升级为"商业价值载体"。中国工业互联网研究院2026年6月的报告指出，Token正逐步蜕变为智能经济时代价值计量、成本核算、资源调度与生态协同的新型生产要素 $reference:41$ 。

🔹 上游：算力生产Token

GPU芯片、AI服务器为Token的生产提供算力支持。国家数据局披露，截至2026年6月，全国智算总规模达到240万PFLOPS，八大国家算力枢纽已建成智算总规模占全国比重超80% $reference:42$ 。

🔹 中游：模型厂商"卖Token"

模型厂商已不再单纯"卖能力"，而是直接"卖词元"------按百万词元输入、输出分档定价，已成为全球行业惯例 $reference:43$ 。Token定价正从单一成本核算向"成本约束+智能溢价+结构差异+价值弹性+竞争浮动"的复合定价模型演变 $reference:44$ 。

🔹 下游：应用消费Token

AI智能体（Agent）正在成为Token的主要消费者。IDC预测，2026年中国MaaS市场的Token调用量将达到40000万亿次，营收约186亿元，2024至2030年年复合增长率达1154.9% $reference:45$ 。

中泰证券报告指出，2026-2031年全球活跃智能体数量年复合增长率达135.3%，2031年将达3.5亿个 $reference:46$ 。

🔹 Token的跨境流动

中国模型的高性价比正在催生"Token出口"新机会。部分中国大模型在2026年初收入爆发式增长，20天累计收入已超过2025年全年总收入 $reference:47$ 。大量海外用户调用中国大模型API------"电力未出境，但价值跨境交付" 。全球AI Token跨境调用量预计占总量的27% $reference:48$ 。

六、中文的特殊性：一个被忽视的维度

中文在Tokenization中面临独特的挑战。由于中文没有空格作为天然分词边界，且每个汉字携带的信息密度远高于英文单词，分词的质量直接影响模型的理解能力。

覆盖242种语言的研究还发现：BPE的分词表现与语言的形态类型密切相关。具有综合语特征的语言（如德语、匈牙利语）在BPE分词中表现出更高的规则性；而分析语特征更强的语言（如中文）则面临不同的挑战。

这提醒我们：Tokenization不是"一刀切"的技术，不同语言需要不同的优化策略。

七、总结：Token重新定义了"智能"

Token之所以重要，是因为它完成了三件具有里程碑意义的事：

让"智能"可被计量。 工业革命的计量单位是"千瓦时"，信息革命的计量单位是"比特"，智能革命的计量单位是"词元"。"智能"第一次可以被切分、计量、定价、交易。
让AI的商业化有了统一尺度。 Token提供了统一的"度量衡"------无论你用哪家的模型，最终都可以用Token来衡量成本和产出。
催生了一条全新的产业链。 从芯片到模型到应用到跨境交付，Token串联起了一个万亿美元级别的产业生态。

下一次当你用AI写一篇文章、生成一段代码、或者只是问一句"今天天气如何"，请记住：每一次对话的背后，都有成千上万个Token在被生产、传输和消耗。它们是大语言模型思考的"原子"，也是AI时代的"货币"。

Token很小，但它正在撬动一个很大的世界。

📚 参考资料

Sennrich et al., "Neural Machine Translation of Rare Words with Subword Units", Proceedings of ACL, 2016
arXiv:2601.18791, "Subword-Based Comparative Linguistics across 242 Languages Using Wikipedia Glottosets", 2026
IIMMQOR《2026年全球AI Token产业前景数据分析报告》, 2026年8月 $reference:49$
中国工业互联网研究院《Token驱动智能经济研究报告（2026年）》, 2026年6月 $reference:50$
中泰证券《TOKEN经济学：AI时代的新生产要素与产业重构》, 2026年5月 $reference:51$
国家数据局公开披露数据（2026年3月-7月） $reference:52$ $reference:53$
OpenRouter平台公开统计数据（2026年2月-8月） $reference:54$ $reference:55$ $reference:56$ $reference:57$
Google Vertex AI Gemini 2.5 Pro官方定价（2026年8月6日验证） $reference:58$ $reference:59$
Anthropic Claude API官方定价（2026年8月） $reference:60$ $reference:61$
DeepSeek API峰谷定价公告（2026年8月17日生效） $reference:62$ $reference:63$