大模型中的Token是什么？
Context Window：模型一次能够处理的最大信息量，比如GPT-5.2一次最大能处理40万个Token
Tokenizer的作用是啥？
Tokenizer的训练过程
- Unigram
- BPE：大致来说就是从一堆文章里找出哪些字在一起经常使用，然后把这些经常使用的字合起来作为一个Token
编解码流程
大模型中的Token到底是什么
专职2026-04-26 13:29
相关推荐
hpoenixf8 小时前
从工具调用到模型输入：把 Agent 的观测链路接起来10年前端老司机9 小时前
你的RAG检索正在“高效地重复废话”：一文彻底搞懂MMR算法Csvn11 小时前
线上出问题怎么查？一套可复现的排障 SOP（O04）我跟你说15 小时前
不改权重的终身学习：AI Agent 的“可塑性”架构与技能自演进深度解构用户7217465882615 小时前
把云端沙箱实例拆成三层看：控制面、运行时、计费面的一次全流程核查用户2504581060915 小时前
AI智能体正在改变软件开发方式，但距离完全自主编程还有多远？救救孩子把15 小时前
Agent面试题-记忆治理-上下文-多Agent协作与工程落地浮生望16 小时前
Agentic RAG（上）：别让所有问题都走检索——查询路由与 Web 兜底敲代码的小小酥18 小时前
Agent 运行机制全景：从工具调用到沙箱隔离鱼饼Y19 小时前
AI Agent 驾驭指南