大模型中的Token是什么？
Context Window：模型一次能够处理的最大信息量，比如GPT-5.2一次最大能处理40万个Token
Tokenizer的作用是啥？
Tokenizer的训练过程
- Unigram
- BPE：大致来说就是从一堆文章里找出哪些字在一起经常使用，然后把这些经常使用的字合起来作为一个Token
编解码流程
相关推荐
壮Sir不壮3 小时前
Multi-Agent 协作案例山顶夕景3 小时前
【VLM】结合Python沙箱的以图思辨S1-VL模型Swift社区3 小时前
并行容错：OpenClaw的多智能体协作革命deephub4 小时前
2026年的 ReAct Agent架构解析：原生 Tool Calling 与 LangGraph 状态机大大花猫5 小时前
AI Agent领域的 “pre-train”和“post-train”的区别Chef_Chen6 小时前
transformer知识补足前端不太难6 小时前
AgentTeam注入：OpenClaw如何破解串行任务灾难维元码簿6 小时前
Claude Code 深度拆解：工具系统——30+ 内置工具地图与 MCP / Skills 协作花千树-0106 小时前
ReAct 思考-行动-观察循环的底层实现机制