大模型中的Token是什么？
Context Window：模型一次能够处理的最大信息量，比如GPT-5.2一次最大能处理40万个Token
Tokenizer的作用是啥？
Tokenizer的训练过程
- Unigram
- BPE：大致来说就是从一堆文章里找出哪些字在一起经常使用，然后把这些经常使用的字合起来作为一个Token
编解码流程
大模型中的Token到底是什么
专职2026-04-26 13:29
相关推荐
星栈3 小时前
用 Rust 写 Agent 服务 -- adk-rust 上手记梦在远山后5 小时前
Electron 与 FastAPI 如何完成流式 Agent 对话浩瀚地学6 小时前
deepagents学习打卡day04wangruofeng7 小时前
9 款主流 AI Agent CLI 对比：安装、版本查询与升级命令智码看视界7 小时前
开源大模型前沿：科研智能体——Intern-S2-397B ，本地可跑的科学文献 Agent墨心@7 小时前
实验 2-6 豆包版复现分析：Agent Skills 从论文生成演示文稿机械改造鹅7 小时前
拆解 prime-agent 系列——(2)Python runtime 与 kernel武子康7 小时前
Codex 后台任务结束了，为什么还不能直接接着用？DeepAgent8 小时前
AI Agent 入门指南（05）：Agent 循环——观察、思考、行动VIP_CQCRE10 小时前
把 Coze 接入 Ace Data Cloud：用 OpenAI Responses 协议快速扩展你的 AI Agent 模型能力