大模型中的Token是什么？
Context Window：模型一次能够处理的最大信息量，比如GPT-5.2一次最大能处理40万个Token
Tokenizer的作用是啥？
Tokenizer的训练过程
- Unigram
- BPE：大致来说就是从一堆文章里找出哪些字在一起经常使用，然后把这些经常使用的字合起来作为一个Token
编解码流程
大模型中的Token到底是什么
专职2026-04-26 13:29
相关推荐
陳陈陳8 小时前
Workflow vs Agent：别再被“调包侠”忽悠了，一张图看懂AI工程的“骨架”与“大脑”新知图书9 小时前
11.3 详细实现与核心配置（作业批改智能体开发）小林ixn9 小时前
Workflow 还是 Agent？帮你一次性搞清楚这俩到底有啥不一样Darling噜啦啦9 小时前
Workflow 还是 Agent？一文搞懂 AI 工程的两大核心范式，以及它们的未来沉默王二11 小时前
腾讯一面，我霸气反问：“你说你们在做Agent项目，说说 SubAgent、Plan 模式、Skill 调用这些你们都是怎么做的？”面试官一直在擦汗。。新知图书13 小时前
10.1 项目背景与需求分析（智能客服智能体开发）莫逸风14 小时前
【AgentScope 2.0】 0. 学习指南决战灬14 小时前
langgraph之interrupt（理论篇）人间凡尔赛16 小时前
2026 AI Agent 多智能体协同编程实战指南：从 Kimi K3 到 GPT-5.6 深度解析