大模型中的Token是什么？
Context Window：模型一次能够处理的最大信息量，比如GPT-5.2一次最大能处理40万个Token
Tokenizer的作用是啥？
Tokenizer的训练过程
- Unigram
- BPE：大致来说就是从一堆文章里找出哪些字在一起经常使用，然后把这些经常使用的字合起来作为一个Token
编解码流程
大模型中的Token到底是什么
专职2026-04-26 13:29
相关推荐
乌拉布拉乌6 分钟前
用 agents-md-writer 优化你的 AGENTS.mdGoCoding41 分钟前
DeepSeek Harness 插件Csvn1 小时前
第 11 章 路由 RoutingGoCodingInMyWay1 小时前
DeepSeek Harness 插件charles_he1 小时前
Agent 写操作超时后，最危险的动作是“再试一次”机械改造鹅1 小时前
从零开始拆解Pi系列——(6)skills 机制tachibana21 小时前
Agent 的长短期记忆系统prog_61031 小时前
【笔记】cllama：搜罗万象当LLM api server测qwen3.8:flash-next特立独行的猫a2 小时前
仓颉语言原生 Coding Agent：cjh · 仓颉语言实现的 Harness沉默王二3 小时前
豆包工作Agent正式发布，直接给到夯。