大模型中的Token是什么？
Context Window：模型一次能够处理的最大信息量，比如GPT-5.2一次最大能处理40万个Token
Tokenizer的作用是啥？
Tokenizer的训练过程
- Unigram
- BPE：大致来说就是从一堆文章里找出哪些字在一起经常使用，然后把这些经常使用的字合起来作为一个Token
编解码流程
大模型中的Token到底是什么
专职2026-04-26 13:29
相关推荐
摸鱼同学9 小时前
06-Skills 下篇：设计原则与生态深度 —— 从会用会写到会设计Python私教10 小时前
我把 AI Agent 从聊天框搬到本地工程流：一个可复用的落地框架装不满的克莱因瓶10 小时前
学习使用 Python 机器学习工具 sklearn摸鱼同学10 小时前
04-Skills 上篇：从安装到日常使用 —— 让 AI 学会你的工作流sg_knight10 小时前
openCode、Claude Code、Cursor、Copilot，到底怎么选JouYY11 小时前
我是如何在业务 Agent 项目中应用 Harness 的guyoung12 小时前
BoxAgnts 运行时（7）——沙箱执行，重塑 Agent 基础设施就玩一会_12 小时前
AI应用开发（Java方向）---实习\校招进度葫芦和十三12 小时前
执行拓扑｜Agent 不只是会什么，还要怎么跑装不满的克莱因瓶13 小时前
学习 LLM 的函数回调及格式化输出，让 LLM 拥有更强的能力