本文梳理 Prompt 的定义与作用、Tokenizer 如何把文本变成 Token,以及 Context Window 的容量、预算、与 Memory/RAG 的关系和超限处理。适合作为 Agent 开发前的上下文管理基础。
一、需要掌握的知识点总览
| 知识点 | 要求 | 一句话说明 |
|---|---|---|
| Context Window 定义 | 必须掌握 | 模型一次请求/生成能处理的最大 Token 容量 |
| Token 与上下文容量 | 必须掌握 | 容量按 Token 计数,不按字数或信息量 |
| 输入、输出如何占用预算 | 必须掌握 | 输入与输出共享同一窗口预算 |
| Context Window 与 Memory 区别 | 必须掌握 | 窗口是临时容器,Memory 是跨请求的保存复用机制 |
| Context Window 与 RAG 关系 | 必须掌握 | RAG 负责检索知识,窗口负责承载知识 |
| 超出窗口如何处理 | 必须掌握 | 裁剪、摘要、RAG、压缩、分块、任务拆分、Token Budget |
| 长上下文不等于有效利用 | 必须掌握 | 存在 Lost in the Middle、信息干扰和成本延迟问题 |
| KV Cache 底层原理 | 后续深入学习 | 本文不展开,留作进阶 |
二、什么是 Prompt
简单来说,Prompt 就是我们给大模型输入的指令和上下文,用来引导模型理解任务并生成符合预期的回答。
Prompt 不仅仅是我们输入的一句话,它可以包含:
-
系统角色(System Role)
-
任务指令(Instruction)
-
背景信息(Context)
-
用户输入(User Input)
-
示例(Examples)
-
输出格式(Output Format)
-
约束条件(Constraints)
Prompt 和普通问题的区别:
普通问题是"随口问",Prompt 是"有目的地设计出来的指令":前者追求"这次答出来",后者追求"稳定、可复现、可评测地答对"。
三、Prompt 在 LLM 中的作用
Prompt 是 LLM 生成内容的重要条件。它通过改变模型接收到的上下文,影响下一个 Token 的概率分布,再经解码策略影响最终输出。
换句话说,模型不是从数据库里检索答案,而是基于当前上下文和学到的参数计算概率,逐 Token 生成内容。
所以:
-
输入不同,模型接收到的上下文不同;
-
上下文不同,模型计算得到的条件概率分布可能不同;
-
概率分布不同,后续生成的 Token 可能不同;
-
最终回答也可能不同。
这就是 Prompt 能够影响 LLM 输出的基本原理。
Prompt 的五个核心作用
| 作用 | 说明 |
|---|---|
| 明确任务目标 | 告诉模型需要做什么 |
| 提供背景信息 | 模型有预训练知识,但不一定了解当前业务系统 |
| 约束模型行为 | 告诉模型什么能做、什么不能做 |
| 控制输出格式 | 告诉模型应按什么格式返回结果 |
| 引导处理方式 | 告诉模型采用什么策略完成任务 |
四、Prompt 在 Agent 中的作用
在 Agent 系统中,Prompt 不只用于一次问答,还贯穿任务规划、工具选择、工具结果分析和最终回答的全过程。它是 Agent 设计中的重要组成部分。
一个典型的 Agent 执行流程如下:
用户输入
↓
System Prompt
↓
Agent 分析任务
↓
Planning Prompt
↓
制定执行计划
↓
Tool Calling Prompt / 工具调用请求
↓
程序执行工具
↓
Observation(工具执行结果)
↓
LLM 再次处理上下文
↓
判断是否继续执行
↓
Final Answer
Prompt 在 Agent 的每个关键节点都承担着不同职责:
-
System Prompt 定义角色与边界;
-
Planning Prompt 负责拆解任务;
-
Tool Calling Prompt 负责生成结构化调用请求;
-
Observation 之后的处理依赖 Prompt 判断下一步。
理解这一点,是从"写提示词"走向"设计 Agent"的关键。
五、Prompt 如何被 Tokenizer 转换成 Token
Prompt 进入 LLM 后,首先会经过 Tokenizer 进行 Tokenization。
Tokenizer 会根据模型使用的分词算法,将输入文本切分成一个个 Token,然后通过词表(Vocabulary)将每个 Token 映射为对应的 Token ID,最终形成一个整数 ID 序列,作为模型的输入。
目前常见的子词 Tokenization 算法包括:
-
BPE
-
WordPiece
-
Unigram
其中 SentencePiece 是一种常用的 Tokenization 工具框架。
以 BPE 为例,它通常从字符或字节序列开始,根据训练语料中的统计频率,逐步合并高频的相邻符号对,形成子词词表。因此,常见词可能对应一个 Token,而生僻词可能被拆分成多个 Token。
模型实际处理的是 Token ID 序列,随后会将 Token ID 转换为 Embedding 向量,送入 Transformer 进行计算。
一个完整流程
- 原始 Prompt
"I love Python"
↓
- Tokenizer 切分
"I", " love", " Python"
↓
- Vocabulary 查表
Token ID 40, 3021, 12567
(仅为示意 ID,不代表真实模型词表)
↓
- Embedding 层
每个 Token ID 映射为一个向量
↓
- Transformer 进行注意力计算和特征提取
扩展:BPE 的核心原理
首先将文本拆分成字符或字节等基础符号,然后统计相邻符号对的出现频率,每次选择频率最高的符号对进行合并,并不断重复这个过程,最终构建出一个子词词表。
六、Context Window 的作用和限制
Context Window 是 LLM 的核心基础概念,也叫上下文窗口,是 LLM 在一次请求或生成过程中能够处理的最大 Token 容量。
它决定了模型一次能够接收多少信息,包括 System Prompt、用户输入、历史对话、RAG 检索结果以及工具执行结果等,具体占用规则取决于模型和 API。
可以把它理解为:Context Window 主要容纳的是输入 Token(Prompt、历史对话、文档)+ 输出 Token(模型生成的内容)。模型本身没有在窗口里"反复思考"的机制------它是前向计算,不是在工作区里迭代修改草稿。类似仓库,只放东西。
三个作用
-
决定模型一次能够处理的信息量;
-
支持多轮对话、长文档分析和 RAG;
-
为 Agent 提供任务规划和工具调用过程中的上下文空间。
几个限制
-
上下文容量有限,超出后需要裁剪、压缩或拆分任务;
-
上下文越长,通常计算成本和延迟越高;
-
上下文容量大,不代表模型一定能准确利用全部信息;
-
Context Window 不等于长期记忆,历史信息需要通过 History、Memory 或 RAG 等机制管理。
因此,在实际 Agent 开发中,需要进行上下文管理,合理控制历史消息、检索文档和工具执行结果的数量。
七、输入和输出如何占用 Context Window 预算
Context Window 是模型一次请求和生成过程中能够使用的上下文容量,输入和输出都可能占用这个预算。
输入部分不仅包括用户 Prompt,还包括:
-
System Prompt
-
历史对话
-
RAG 检索文档
-
工具描述
-
工具执行结果
输出部分包括:
-
模型生成的普通文本
-
工具调用参数
-
可能计入上下文的推理 Token
在 Agent 场景中,工具执行结果会在后续请求中作为输入再次传给模型,因此多轮工具调用可能持续增加 Token 消耗。
所以在实际开发中,需要统计输入 Token,预留输出空间,并通过历史裁剪、摘要、RAG 筛选等方式控制上下文预算。
八、Context Window 和 Memory 有什么区别
Context Window 和 Memory 都与 LLM 的上下文信息有关,但它们解决的问题不同。
| 维度 | Context Window | Memory |
|---|---|---|
| 本质 | 模型一次请求/生成能处理的最大 Token 容量 | 信息保存和复用机制 |
| 范围 | 当前请求/生成过程 | 跨请求、跨会话 |
| 内容 | System Prompt、用户输入、历史对话、RAG 文档等 | 用户偏好、历史事实、任务状态等 |
| 关系 | 承载当前推理所需信息 | 保存并检索重要信息,再注入 Context Window |
两者的关系是:Memory 负责保存和检索重要信息,检索出来的信息再注入 Context Window,供模型当前推理使用。
在 Agent 开发中,通常需要结合短期记忆、长期记忆和上下文管理机制,实现跨轮次、跨会话的信息复用。
九、Context Window 与 RAG 的关系
可以直接记住下面这段:
Context Window 是大模型一次请求中能够处理的最大上下文 Token 容量,而 RAG 是一种检索增强生成技术,用于从外部知识库中检索与用户问题相关的内容。
两者的关系是:RAG 负责检索知识,Context Window 负责承载这些知识。
具体流程:
-
用户提出问题;
-
RAG 从知识库检索相关文档;
-
应用程序将检索结果与 System Prompt、历史对话、用户问题等内容组装成 Prompt;
-
Prompt 放入 Context Window;
-
LLM 根据这些上下文生成答案。
RAG 可以减少无关知识对 Context Window 的占用,提高外部知识的利用效率,但检索结果本身仍然会消耗 Token。
十、超出 Context Window 应该怎么处理
当输入超过模型的 Context Window 时,模型通常无法正常处理,因此在实际工程中需要进行上下文管理。
常见处理方式:
-
历史消息裁剪:只保留最近的对话;
-
历史消息摘要:将较早的对话压缩成摘要;
-
使用 RAG:只检索与当前问题相关的文档;
-
Context Compression:压缩冗余信息;
-
Chunking:对超长文档分块处理;
-
任务拆分:对复杂 Agent 任务分阶段执行。
在工程实现上,还需要建立 Token Budget 机制,在调用模型之前统计 Token 数量,合理分配 System Prompt、历史记录、RAG 文档和输出 Token 的预算,避免超过模型限制。
十一、为什么 Context Window 越大,不代表模型回答效果越好
Context Window 表示模型一次能够接收的最大 Token 容量,但不代表模型能够同样有效地利用所有上下文信息。
当上下文过长时,可能出现:
-
Lost in the Middle:模型对位于长上下文中间的信息利用效果下降;
-
信息干扰:大量无关信息和重复信息增加模型定位、关联关键信息的难度;
-
成本与延迟:长上下文可能增加推理成本和响应延迟。
因此,在实际应用中不能单纯追求更大的 Context Window,而应该结合 RAG、Rerank、Context Compression 和 Token Budget 等技术,提高上下文的信息密度和利用效率。
十二、大语言模型如何根据前面的 Token 预测下一个 Token
大语言模型通常采用自回归生成机制,也就是根据前面已经出现的 Token 预测下一个 Token。
流程如下:
大语言模型通常采用自回归生成机制,也就是根据前面已经出现的 Token 预测下一个 Token。首先,Tokenizer 将输入文本转换为 Token ID,然后通过 Embedding 层转换为向量,并加入位置信息。接着,向量经过 Transformer 多层网络,通过带有因果掩码的 Self-Attention 机制获取上下文信息。然后,模型通过 LM Head 将隐藏状态映射为词表维度的 Logits,再通过 Softmax 得到每个 Token 的概率分布。最后,根据 Greedy、Temperature、Top-K 或 Top-P 等解码策略选择下一个 Token,并将它追加到原有序列中,重复上述过程,直到满足停止条件。这就是大语言模型的自回归生成过程。
十三、Prompt 如何影响 LLM 下一个 Token 的概率分布
Prompt 本质上是通过改变模型的输入上下文,影响模型对下一个 Token 的预测。
首先,Prompt 会经过 Tokenizer 转换为 Token ID,然后通过 Embedding 层转换为向量。
接着,这些向量进入 Transformer,通过多层 Self-Attention 和前馈网络进行计算。由于 Prompt 不同,模型获取的上下文信息和最终的 Hidden State 也会不同。
然后,Hidden State 经过 LM Head 映射为 Logits,再通过 Softmax 转换为下一个 Token 的概率分布。
最后,模型根据解码策略选择下一个 Token。
因此,Prompt Engineering 本质上是在不修改模型参数的情况下,通过设计输入上下文,引导模型产生符合预期的 Token 概率分布。
小结
-
Prompt 是有目的地设计的指令与上下文,影响模型的条件概率分布;
-
Tokenizer 把文本切分为 Token 并映射为 ID,模型实际处理的是 ID 序列;
-
Context Window 是模型一次能处理的最大 Token 容量,输入与输出共享预算;
-
Memory 负责跨请求保存复用,RAG 负责检索知识,二者最终都要注入 Context Window;
-
超出窗口需裁剪、摘要、压缩、分块或拆分任务,并建立 Token Budget;
-
长上下文不等于有效利用,要关注 Lost in the Middle、信息密度和成本延迟。
思考:实际Agent开发如何管理Context Window