提示词工程一:Prompt基本原理

本文梳理 Prompt 的定义与作用、Tokenizer 如何把文本变成 Token,以及 Context Window 的容量、预算、与 Memory/RAG 的关系和超限处理。适合作为 Agent 开发前的上下文管理基础。

一、需要掌握的知识点总览

知识点 要求 一句话说明
Context Window 定义 必须掌握 模型一次请求/生成能处理的最大 Token 容量
Token 与上下文容量 必须掌握 容量按 Token 计数,不按字数或信息量
输入、输出如何占用预算 必须掌握 输入与输出共享同一窗口预算
Context Window 与 Memory 区别 必须掌握 窗口是临时容器,Memory 是跨请求的保存复用机制
Context Window 与 RAG 关系 必须掌握 RAG 负责检索知识,窗口负责承载知识
超出窗口如何处理 必须掌握 裁剪、摘要、RAG、压缩、分块、任务拆分、Token Budget
长上下文不等于有效利用 必须掌握 存在 Lost in the Middle、信息干扰和成本延迟问题
KV Cache 底层原理 后续深入学习 本文不展开,留作进阶

二、什么是 Prompt

简单来说,Prompt 就是我们给大模型输入的指令和上下文,用来引导模型理解任务并生成符合预期的回答。

Prompt 不仅仅是我们输入的一句话,它可以包含:

  • 系统角色(System Role)

  • 任务指令(Instruction)

  • 背景信息(Context)

  • 用户输入(User Input)

  • 示例(Examples)

  • 输出格式(Output Format)

  • 约束条件(Constraints)

Prompt 和普通问题的区别:

普通问题是"随口问",Prompt 是"有目的地设计出来的指令":前者追求"这次答出来",后者追求"稳定、可复现、可评测地答对"。


三、Prompt 在 LLM 中的作用

Prompt 是 LLM 生成内容的重要条件。它通过改变模型接收到的上下文,影响下一个 Token 的概率分布,再经解码策略影响最终输出。

换句话说,模型不是从数据库里检索答案,而是基于当前上下文和学到的参数计算概率,逐 Token 生成内容。

所以:

  1. 输入不同,模型接收到的上下文不同;

  2. 上下文不同,模型计算得到的条件概率分布可能不同;

  3. 概率分布不同,后续生成的 Token 可能不同;

  4. 最终回答也可能不同。

这就是 Prompt 能够影响 LLM 输出的基本原理。

Prompt 的五个核心作用

作用 说明
明确任务目标 告诉模型需要做什么
提供背景信息 模型有预训练知识,但不一定了解当前业务系统
约束模型行为 告诉模型什么能做、什么不能做
控制输出格式 告诉模型应按什么格式返回结果
引导处理方式 告诉模型采用什么策略完成任务

四、Prompt 在 Agent 中的作用

在 Agent 系统中,Prompt 不只用于一次问答,还贯穿任务规划、工具选择、工具结果分析和最终回答的全过程。它是 Agent 设计中的重要组成部分。

一个典型的 Agent 执行流程如下:

用户输入

↓

System Prompt

↓

Agent 分析任务

↓

Planning Prompt

↓

制定执行计划

↓

Tool Calling Prompt / 工具调用请求

↓

程序执行工具

↓

Observation(工具执行结果)

↓

LLM 再次处理上下文

↓

判断是否继续执行

↓

Final Answer

Prompt 在 Agent 的每个关键节点都承担着不同职责:

  • System Prompt 定义角色与边界;

  • Planning Prompt 负责拆解任务;

  • Tool Calling Prompt 负责生成结构化调用请求;

  • Observation 之后的处理依赖 Prompt 判断下一步。

理解这一点,是从"写提示词"走向"设计 Agent"的关键。


五、Prompt 如何被 Tokenizer 转换成 Token

Prompt 进入 LLM 后,首先会经过 Tokenizer 进行 Tokenization。

Tokenizer 会根据模型使用的分词算法,将输入文本切分成一个个 Token,然后通过词表(Vocabulary)将每个 Token 映射为对应的 Token ID,最终形成一个整数 ID 序列,作为模型的输入。

目前常见的子词 Tokenization 算法包括:

  • BPE

  • WordPiece

  • Unigram

其中 SentencePiece 是一种常用的 Tokenization 工具框架。

以 BPE 为例,它通常从字符或字节序列开始,根据训练语料中的统计频率,逐步合并高频的相邻符号对,形成子词词表。因此,常见词可能对应一个 Token,而生僻词可能被拆分成多个 Token。

模型实际处理的是 Token ID 序列,随后会将 Token ID 转换为 Embedding 向量,送入 Transformer 进行计算。

一个完整流程

  1. 原始 Prompt

"I love Python"

↓

  1. Tokenizer 切分

"I", " love", " Python"

↓

  1. Vocabulary 查表

Token ID 40, 3021, 12567

(仅为示意 ID,不代表真实模型词表)

↓

  1. Embedding 层

每个 Token ID 映射为一个向量

↓

  1. Transformer 进行注意力计算和特征提取

扩展:BPE 的核心原理

首先将文本拆分成字符或字节等基础符号,然后统计相邻符号对的出现频率,每次选择频率最高的符号对进行合并,并不断重复这个过程,最终构建出一个子词词表。


六、Context Window 的作用和限制

Context Window 是 LLM 的核心基础概念,也叫上下文窗口,是 LLM 在一次请求或生成过程中能够处理的最大 Token 容量。

它决定了模型一次能够接收多少信息,包括 System Prompt、用户输入、历史对话、RAG 检索结果以及工具执行结果等,具体占用规则取决于模型和 API。

可以把它理解为:Context Window 主要容纳的是输入 Token(Prompt、历史对话、文档)+ 输出 Token(模型生成的内容)。模型本身没有在窗口里"反复思考"的机制------它是前向计算,不是在工作区里迭代修改草稿。类似仓库,只放东西。

三个作用

  1. 决定模型一次能够处理的信息量;

  2. 支持多轮对话、长文档分析和 RAG;

  3. 为 Agent 提供任务规划和工具调用过程中的上下文空间。

几个限制

  • 上下文容量有限,超出后需要裁剪、压缩或拆分任务;

  • 上下文越长,通常计算成本和延迟越高;

  • 上下文容量大,不代表模型一定能准确利用全部信息;

  • Context Window 不等于长期记忆,历史信息需要通过 History、Memory 或 RAG 等机制管理。

因此,在实际 Agent 开发中,需要进行上下文管理,合理控制历史消息、检索文档和工具执行结果的数量。


七、输入和输出如何占用 Context Window 预算

Context Window 是模型一次请求和生成过程中能够使用的上下文容量,输入和输出都可能占用这个预算。

输入部分不仅包括用户 Prompt,还包括:

  • System Prompt

  • 历史对话

  • RAG 检索文档

  • 工具描述

  • 工具执行结果

输出部分包括:

  • 模型生成的普通文本

  • 工具调用参数

  • 可能计入上下文的推理 Token

在 Agent 场景中,工具执行结果会在后续请求中作为输入再次传给模型,因此多轮工具调用可能持续增加 Token 消耗。

所以在实际开发中,需要统计输入 Token,预留输出空间,并通过历史裁剪、摘要、RAG 筛选等方式控制上下文预算。


八、Context Window 和 Memory 有什么区别

Context Window 和 Memory 都与 LLM 的上下文信息有关,但它们解决的问题不同。

维度 Context Window Memory
本质 模型一次请求/生成能处理的最大 Token 容量 信息保存和复用机制
范围 当前请求/生成过程 跨请求、跨会话
内容 System Prompt、用户输入、历史对话、RAG 文档等 用户偏好、历史事实、任务状态等
关系 承载当前推理所需信息 保存并检索重要信息,再注入 Context Window

两者的关系是:Memory 负责保存和检索重要信息,检索出来的信息再注入 Context Window,供模型当前推理使用。

在 Agent 开发中,通常需要结合短期记忆、长期记忆和上下文管理机制,实现跨轮次、跨会话的信息复用。


九、Context Window 与 RAG 的关系

可以直接记住下面这段:

Context Window 是大模型一次请求中能够处理的最大上下文 Token 容量,而 RAG 是一种检索增强生成技术,用于从外部知识库中检索与用户问题相关的内容。

两者的关系是:RAG 负责检索知识,Context Window 负责承载这些知识。

具体流程:

  1. 用户提出问题;

  2. RAG 从知识库检索相关文档;

  3. 应用程序将检索结果与 System Prompt、历史对话、用户问题等内容组装成 Prompt;

  4. Prompt 放入 Context Window;

  5. LLM 根据这些上下文生成答案。

RAG 可以减少无关知识对 Context Window 的占用,提高外部知识的利用效率,但检索结果本身仍然会消耗 Token。


十、超出 Context Window 应该怎么处理

当输入超过模型的 Context Window 时,模型通常无法正常处理,因此在实际工程中需要进行上下文管理。

常见处理方式:

  • 历史消息裁剪:只保留最近的对话;

  • 历史消息摘要:将较早的对话压缩成摘要;

  • 使用 RAG:只检索与当前问题相关的文档;

  • Context Compression:压缩冗余信息;

  • Chunking:对超长文档分块处理;

  • 任务拆分:对复杂 Agent 任务分阶段执行。

在工程实现上,还需要建立 Token Budget 机制,在调用模型之前统计 Token 数量,合理分配 System Prompt、历史记录、RAG 文档和输出 Token 的预算,避免超过模型限制。


十一、为什么 Context Window 越大,不代表模型回答效果越好

Context Window 表示模型一次能够接收的最大 Token 容量,但不代表模型能够同样有效地利用所有上下文信息。

当上下文过长时,可能出现:

  • Lost in the Middle:模型对位于长上下文中间的信息利用效果下降;

  • 信息干扰:大量无关信息和重复信息增加模型定位、关联关键信息的难度;

  • 成本与延迟:长上下文可能增加推理成本和响应延迟。

因此,在实际应用中不能单纯追求更大的 Context Window,而应该结合 RAG、Rerank、Context Compression 和 Token Budget 等技术,提高上下文的信息密度和利用效率。


十二、大语言模型如何根据前面的 Token 预测下一个 Token

大语言模型通常采用自回归生成机制,也就是根据前面已经出现的 Token 预测下一个 Token。

流程如下:

大语言模型通常采用自回归生成机制,也就是根据前面已经出现的 Token 预测下一个 Token。首先,Tokenizer 将输入文本转换为 Token ID,然后通过 Embedding 层转换为向量,并加入位置信息。接着,向量经过 Transformer 多层网络,通过带有因果掩码的 Self-Attention 机制获取上下文信息。然后,模型通过 LM Head 将隐藏状态映射为词表维度的 Logits,再通过 Softmax 得到每个 Token 的概率分布。最后,根据 Greedy、Temperature、Top-K 或 Top-P 等解码策略选择下一个 Token,并将它追加到原有序列中,重复上述过程,直到满足停止条件。这就是大语言模型的自回归生成过程。


十三、Prompt 如何影响 LLM 下一个 Token 的概率分布

Prompt 本质上是通过改变模型的输入上下文,影响模型对下一个 Token 的预测。

首先,Prompt 会经过 Tokenizer 转换为 Token ID,然后通过 Embedding 层转换为向量。

接着,这些向量进入 Transformer,通过多层 Self-Attention 和前馈网络进行计算。由于 Prompt 不同,模型获取的上下文信息和最终的 Hidden State 也会不同。

然后,Hidden State 经过 LM Head 映射为 Logits,再通过 Softmax 转换为下一个 Token 的概率分布。

最后,模型根据解码策略选择下一个 Token。

因此,Prompt Engineering 本质上是在不修改模型参数的情况下,通过设计输入上下文,引导模型产生符合预期的 Token 概率分布。


小结

  • Prompt 是有目的地设计的指令与上下文,影响模型的条件概率分布;

  • Tokenizer 把文本切分为 Token 并映射为 ID,模型实际处理的是 ID 序列;

  • Context Window 是模型一次能处理的最大 Token 容量,输入与输出共享预算;

  • Memory 负责跨请求保存复用,RAG 负责检索知识,二者最终都要注入 Context Window;

  • 超出窗口需裁剪、摘要、压缩、分块或拆分任务,并建立 Token Budget;

  • 长上下文不等于有效利用,要关注 Lost in the Middle、信息密度和成本延迟。

思考:实际Agent开发如何管理Context Window

相关推荐
可乐ea5 天前
智能体记忆该拆成几层:笔记、记忆表示与注入上下文
服务器·数据库·笔记·ai智能体·提示词工程·上下文工程·记忆系统
J-JunLiang6 天前
提示词修炼手册-14-你的提示词工具箱
提示词工程·agent prompt·agent提问·提示词修炼手册
J-JunLiang12 天前
提示词修炼手册-10-从聊天到委派
提示词工程·ai应用·agent prompt·agent提问·提示词修炼手册
J-JunLiang13 天前
提示词修炼手册-09-长文档不丢记忆
提示词工程·ai应用·agent prompt·agent提问·提示词修炼手册
J-JunLiang18 天前
提示词修炼手册-04-让AI先想后说
人工智能·提示词工程·agent prompt·agent提问·提示词修炼手册
夜郎king21 天前
CodeBuddy × 硅基流动:PaddleOCR-VL 提示词调优、体验打磨与生产化改造(下篇)
提示词工程·硅基流动·codebuddy·paddleocr-vl
可乐ea21 天前
Kimi K3.1 Pro 选型:1M 上下文和每任务成本怎么算
人工智能·计算机视觉·ai智能体·上下文窗口·大模型选型·kimik3.1pro·agent成本
一级新生24 天前
提示词工程:跟 AI 打交道的手艺
人工智能·大模型·dify·1024程序员节·提示词工程
posstos1 个月前
用 MiniMax-H3 做 AI 短剧:一个 SKILL 把剧本自动拆成六段式提示词
人工智能·aigc·ai视频·提示词工程·minimax·ai短剧·分镜脚本