通识性AI知识点:Token和Context

简单理解:如果把AI大模型想象成一个正在阅读的人,那么 Token(令牌)是它读到的"每一个字词",而Context(上下文/上下文长度)是它"一次性能记住和参考的前面内容的范围"

为了帮你更清晰地理解,我将它们的核心区别和联系总结如下:

特性维度 Token Context
本质 基本处理单位。文本被拆分后的小块。 工作记忆范围。模型单次处理时能"看到"的所有Token的集合。
角色 模型的"输入数据"和"输出材料",像建造用的砖块。 模型的"短期记忆"或"视野范围",像工人手边可用的图纸和参考。
衡量单位 "个" 长度 ,通常用 Token数量 来表示(例如 8K、128K)。
关键限制 影响计费、生成速度。输入输出都按Token数计价。 决定模型单次能处理的信息量。超出范围的Token会被"遗忘"。
常见类比 文章中的字、词、标点 阅读时能记住并参考的前文长度

🔗 它们如何紧密协作

理解了区别后,更要看它们如何共同工作:

  1. Context 是"容器",Token 是"内容" :一个 8K Context 的模型,意味着它能一次性处理最多 8000个 Token。这8000个Token可以全部是用户的提问,也可以是"提问+模型自己刚才生成的回答"。

  2. Context 限制直接影响能力:如果一份文档有1万个Token,但模型的Context只有8K,那么模型无法一次性理解全文。必须将文档拆分,或者采用"滑动窗口"等技巧,这过程中可能会丢失一些信息。

  3. Token是成本与性能的标尺:我们常说的"输入/输出Tokens",就是消耗算力的直接体现。Context的大小则决定了模型单次处理的复杂度上限。

💎 总结与实例

你可以这样记住:

  • Token的维度,回答"有多少信息"。

  • Context的维度,回答"能处理多复杂的信息"。

举个例子:你让AI总结一篇长文章。

  • 首先,文章会被切分成成千上万个 Token 输入给模型。

  • 模型的 Context 长度 决定了它能一次性"吃下"多少内容来总结。如果文章太长,你可能需要分章节提交。

相关推荐
创世宇图16 小时前
【AI入门知识点】Agent 是什么?为什么说它是 AI 的下一阶段?
ai·agent
Jurio.17 小时前
AI Daily Paper Reader(ADPR):零服务器搭建个人/团队通用大模型API驱动的论文阅读与推荐平台
论文阅读·人工智能·ai
searchforAI17 小时前
我用这款本土NotebookLM平替重构了知识库
人工智能·笔记·gpt·ai·音视频·知识图谱
不懂的浪漫17 小时前
01|从 Spring Boot 项目理解 RAG:ingest、query、rerank、trace 到 eval
java·人工智能·spring boot·后端·ai·rag
TheRouter17 小时前
AI Agent 的Prompt Injection 防御实战:从EchoLeak 零点击外泄到6层防护栈(含可运行代码与对比表)
人工智能·ai·prompt
Artech18 小时前
[对比学习LangChain和MAF-02]基本编程模式的差异(下篇)
ai·langchain·agent·maf
AIGC大时代18 小时前
AI服务先看工作流
科技·ai·科普
AIGC大时代18 小时前
Skill真只是Prompt吗
科技·ai·科普
尘埃落定wf18 小时前
五大主流 Agent 架构模式详解
ai·langchain
老王谈企服18 小时前
AI Agent将如何重构制造业的安全生产隐患识别模式?深度理解与实在Agent闭环实战
人工智能·安全·ai·重构