大模型中的Token是什么？
Context Window：模型一次能够处理的最大信息量，比如GPT-5.2一次最大能处理40万个Token
Tokenizer的作用是啥？
Tokenizer的训练过程
- Unigram
- BPE：大致来说就是从一堆文章里找出哪些字在一起经常使用，然后把这些经常使用的字合起来作为一个Token
编解码流程
大模型中的Token到底是什么
专职2026-04-26 13:29
相关推荐
JouYY1 小时前
聊一下多 Agent 编排架构的应用实践米小虾3 小时前
Loop Engineering —— 循环的设计与自主执行米小虾3 小时前
Harness Engineering —— 系统的安全护栏武子康5 小时前
调查研究-200 llama.cpp b9754：一次很小但很关键的 Agent 工具调用修复武子康5 小时前
调查研究-199 MCP Zero-Touch OAuth：为什么它是 MCP 进入企业生产的关键门槛？用户947850529276 小时前
Skill用得好，下班走得早：一文讲透Skill的结构与设计leeyi6 小时前
Batch 处理：并发控制与可中断批处理冬奇Lab16 小时前
Workflow 系列（01）：基础理论——三种执行模型与 Anthropic 5 种模式冬奇Lab16 小时前
每日一个开源项目（第143篇）：page-agent - 纯 JS 的网页 GUI Agent，无需截图、无需插件、无需后端用户3134672143541 天前
Langchain入门到实战开发智能体教程（LLM+RAG+OpenAI+Agent）-下