大模型中的Token是什么？
Context Window：模型一次能够处理的最大信息量，比如GPT-5.2一次最大能处理40万个Token
Tokenizer的作用是啥？
Tokenizer的训练过程
- Unigram
- BPE：大致来说就是从一堆文章里找出哪些字在一起经常使用，然后把这些经常使用的字合起来作为一个Token
编解码流程
大模型中的Token到底是什么
专职2026-04-26 13:29
相关推荐
lgcgkCQ2 小时前
【AI 转型实战 1】SpringAI 入门：搭建基础大模型对话能力vilya2 小时前
Agent 语音引擎换心记：从「够用」到「稳且好」goehou2 小时前
ReAct 循环跑偏的三种样子，以及怎么在工程上兜住ZhengEnCi4 小时前
Agent 如何进行工具调用：从一次 Function Calling 到生产级工具编排的完整链路噜哥带你玩转 AI 大模型5 小时前
从 “if-else“ 到 Agent：Dify 进阶实战，让 AI 自己判断、自己调工具威哥爱编程5 小时前
Python 智能体开发实战 05：一问教材内容它就编？先把答案从你自己的资料里检索出来java_prinln5 小时前
RAG 面试题介绍威哥爱编程5 小时前
Python 智能体开发实战 06：一个函数里塞了八百行？用状态机把批改流程拆成能回退的步骤key_3_feng7 小时前
评估与对齐：Agent 自我进化的护栏