通识性AI知识点:Token和Context

简单理解:如果把AI大模型想象成一个正在阅读的人,那么 Token(令牌)是它读到的"每一个字词",而Context(上下文/上下文长度)是它"一次性能记住和参考的前面内容的范围"

为了帮你更清晰地理解,我将它们的核心区别和联系总结如下:

特性维度 Token Context
本质 基本处理单位。文本被拆分后的小块。 工作记忆范围。模型单次处理时能"看到"的所有Token的集合。
角色 模型的"输入数据"和"输出材料",像建造用的砖块。 模型的"短期记忆"或"视野范围",像工人手边可用的图纸和参考。
衡量单位 "个" 长度 ,通常用 Token数量 来表示(例如 8K、128K)。
关键限制 影响计费、生成速度。输入输出都按Token数计价。 决定模型单次能处理的信息量。超出范围的Token会被"遗忘"。
常见类比 文章中的字、词、标点 阅读时能记住并参考的前文长度

🔗 它们如何紧密协作

理解了区别后,更要看它们如何共同工作:

  1. Context 是"容器",Token 是"内容" :一个 8K Context 的模型,意味着它能一次性处理最多 8000个 Token。这8000个Token可以全部是用户的提问,也可以是"提问+模型自己刚才生成的回答"。

  2. Context 限制直接影响能力:如果一份文档有1万个Token,但模型的Context只有8K,那么模型无法一次性理解全文。必须将文档拆分,或者采用"滑动窗口"等技巧,这过程中可能会丢失一些信息。

  3. Token是成本与性能的标尺:我们常说的"输入/输出Tokens",就是消耗算力的直接体现。Context的大小则决定了模型单次处理的复杂度上限。

💎 总结与实例

你可以这样记住:

  • Token的维度,回答"有多少信息"。

  • Context的维度,回答"能处理多复杂的信息"。

举个例子:你让AI总结一篇长文章。

  • 首先,文章会被切分成成千上万个 Token 输入给模型。

  • 模型的 Context 长度 决定了它能一次性"吃下"多少内容来总结。如果文章太长,你可能需要分章节提交。

相关推荐
迅筑科技-RPT6 小时前
达索系统第7代解决方案3D UNIV+RSES——释放企业数据潜能,拥抱更值得信赖的工业AI
3d·ai·达索系统·迅筑科技·3d univ+rses
爱笑的眼睛1110 小时前
学着学着 我就给这个 HarmonyOS 应用增加了些新技术
华为·ai·harmonyos
m0_6038887113 小时前
Toward Cognitive Supersensing in Multimodal Large Language Model
人工智能·机器学习·ai·语言模型·论文速览
SEO_juper14 小时前
AI内容优化的2026实战路径:从策略、工具到案例
人工智能·ai·工具
coder_jo14 小时前
体验MCP自动操作Pencil完成UI设计稿
ai·mcp
Elastic 中国社区官方博客14 小时前
金融服务公司如何大规模构建上下文智能
大数据·人工智能·elasticsearch·搜索引擎·ai·金融·全文检索
姚华军15 小时前
在本地(Windows环境)部署LLaMa-Factory,进行模型微调步骤!!!
windows·ai·llama·llama-factory
星河耀银海15 小时前
AI学习第一站:从感知到认知,AI到底是什么?
人工智能·学习·ai
得物技术16 小时前
大模型网关:大模型时代的智能交通枢纽|得物技术
人工智能·ai
AiTop10016 小时前
智谱开源GLM-OCR:0.9B小模型在复杂文档处理登顶SOTA
人工智能·ai·aigc