大模型中的Token是什么？
Context Window：模型一次能够处理的最大信息量，比如GPT-5.2一次最大能处理40万个Token
Tokenizer的作用是啥？
Tokenizer的训练过程
- Unigram
- BPE：大致来说就是从一堆文章里找出哪些字在一起经常使用，然后把这些经常使用的字合起来作为一个Token
编解码流程
大模型中的Token到底是什么
专职2026-04-26 13:29
相关推荐
Justinyh2 分钟前
安装与体验 Claude code、CC Switch、SuperPowers程序猿进阶5 分钟前
OpenClaw Mac 安装教程lihaozecq7 分钟前
做 Agent SDK 必须支持的插件能力：8 个钩子搞定横切关注点zavoryn11 分钟前
Context Engineering 不是写更长 Prompt，而是管理 Agent 的注意力预算不懂的浪漫23 分钟前
AGI 需要身体：从 Manus 到企业 Agent Runtime逆境不可逃1 小时前
Hello-Agents 第二部分-第四章总结：智能体经典范式构建-包含习题解析和Java版Rick19931 小时前
LangChain核心知识点Cosolar1 小时前
智能体 Agent 完全拆解：架构、组件与实战指南__土块__1 小时前
AI Agent MCP架构设计与技术实现全面解析Cosolar2 小时前
大模型量化技术实战指南