通识性AI知识点:Token和Context

简单理解:如果把AI大模型想象成一个正在阅读的人,那么 Token(令牌)是它读到的"每一个字词",而Context(上下文/上下文长度)是它"一次性能记住和参考的前面内容的范围"

为了帮你更清晰地理解,我将它们的核心区别和联系总结如下:

特性维度 Token Context
本质 基本处理单位。文本被拆分后的小块。 工作记忆范围。模型单次处理时能"看到"的所有Token的集合。
角色 模型的"输入数据"和"输出材料",像建造用的砖块。 模型的"短期记忆"或"视野范围",像工人手边可用的图纸和参考。
衡量单位 "个" 长度 ,通常用 Token数量 来表示(例如 8K、128K)。
关键限制 影响计费、生成速度。输入输出都按Token数计价。 决定模型单次能处理的信息量。超出范围的Token会被"遗忘"。
常见类比 文章中的字、词、标点 阅读时能记住并参考的前文长度

🔗 它们如何紧密协作

理解了区别后,更要看它们如何共同工作:

  1. Context 是"容器",Token 是"内容" :一个 8K Context 的模型,意味着它能一次性处理最多 8000个 Token。这8000个Token可以全部是用户的提问,也可以是"提问+模型自己刚才生成的回答"。

  2. Context 限制直接影响能力:如果一份文档有1万个Token,但模型的Context只有8K,那么模型无法一次性理解全文。必须将文档拆分,或者采用"滑动窗口"等技巧,这过程中可能会丢失一些信息。

  3. Token是成本与性能的标尺:我们常说的"输入/输出Tokens",就是消耗算力的直接体现。Context的大小则决定了模型单次处理的复杂度上限。

💎 总结与实例

你可以这样记住:

  • Token的维度,回答"有多少信息"。

  • Context的维度,回答"能处理多复杂的信息"。

举个例子:你让AI总结一篇长文章。

  • 首先,文章会被切分成成千上万个 Token 输入给模型。

  • 模型的 Context 长度 决定了它能一次性"吃下"多少内容来总结。如果文章太长,你可能需要分章节提交。

相关推荐
AI架构全栈开发实战笔记10 小时前
Eureka 在大数据环境中的性能优化技巧
大数据·ai·eureka·性能优化
大厂资深架构师10 小时前
Spring Cloud Eureka在后端系统中的服务剔除策略
spring·spring cloud·ai·eureka
AI架构全栈开发实战笔记10 小时前
Eureka 对大数据领域服务依赖关系的梳理
大数据·ai·云原生·eureka
阿杰学AI11 小时前
AI核心知识91——大语言模型之 Transformer 架构(简洁且通俗易懂版)
人工智能·深度学习·ai·语言模型·自然语言处理·aigc·transformer
shengnan_wsn13 小时前
【一】【ai基础】【大模型和智能体初识】
ai
nimadan1213 小时前
**AI仿真人剧制作工具2025推荐,解锁沉浸式内容创作新范
ai
阿沐的硅基世界15 小时前
OpenClaw记忆层详解
ai
___波子 Pro Max.16 小时前
AI与AGI的区别及未来展望
ai·agi
kali-Myon16 小时前
2025春秋杯网络安全联赛冬季赛-day2
python·安全·web安全·ai·php·pwn·ctf
Olamyh17 小时前
【 超越 ReAct:手搓 Plan-and-Execute (Planner) Agent】
python·ai