Agent开发·阶段总结(二)|从上下文到评测,串起 Agent 的信息与质量管理
《Agent开发》系列 · 第二阶段复盘(05---08 篇)
订单 1001 的金币未到账问题,已经进入人工审批。运营人员批准向 user-a 补发 500 金币,但执行前仍需要核对最终到账状态。等待期间,AI 助手后端重启了。
恢复任务时,如果后端只给大模型一句"审批通过,可以继续",它知道该处理哪张订单吗?如果历史摘要写着"发放失败",它能直接判断金币没有到账吗?如果我们换了一种压缩或检索策略,又怎样知道结果变好了?
这几个问题,把第二阶段的四篇文章连在了一起:
- Agent开发 05|Context Engineering:如何构建高质量的模型上下文?
- Agent开发 06|状态与恢复:任务中断后如何继续?
- Agent开发 07|RAG:如何找到并用好企业知识?
- Agent开发 08|LLM Eval:怎么验证 Agent 的效果?
本篇沿着任务恢复后的处理过程,解释信息怎样被保存、重新读取、交给模型,并最终接受验证。即使没有阅读这四篇,也可以先通过案例建立整体认识。
下面是一条串联知识的参考流程。四篇 Demo 分别验证了其中的机制,还没有整合成真实订单与账务系统。
一、先分清:保存了什么,模型看到了什么,业务发生了什么?
后端重启后,需要面对几种不同的信息:
| 信息 | 订单案例中的内容 | 它能说明什么 |
|---|---|---|
| 任务记录 | 正在处理订单 1001,申请已获批,等待执行前复核 | 程序记录的处理进度 |
| 审批记录 | req-1001 批准向 user-a 补发 500 金币 | 获准操作的具体范围 |
| 历史发放记录 | 某次请求超时,被标记为失败 | 当时那次尝试的记录 |
| 当前账务结果 | 这笔发放是否实际入账 | 业务系统中的执行事实 |
| 模型当前输入 | 后端本轮提供的任务、事实、约束与工具说明 | 模型这一轮可以使用的信息 |
它们不能互相替代。任务记录保存着"尚未完成",不证明业务一定没有发生;模型读到了"已经批准",也不意味着后端可以跳过批准范围检查。
保存了信息,不代表模型看到了;模型看到了,不代表信息仍然有效;回答得很肯定,也不代表业务已经完成。
这几个区别,是理解第二阶段最重要的起点。
二、第一步:后端先恢复进度,再决定怎样继续
2.1 State 记录任务现在是什么情况
后端需要知道任务编号、订单编号、关联申请、当前阶段,以及尚未完成的工作。这些由程序维护的任务执行数据,就是 State(状态)。
订单 1001 的状态可以记录:任务是 task-1001,申请是 req-1001,阶段为 READY,下一步需要核对业务条件。
这里的 READY 只表示按当前任务记录可以进入后续处理,不等于允许无条件写入余额。状态中的旧查询结果,也可能需要更新。
2.2 Checkpoint 保存可恢复的执行进度
后端在明确的执行边界保存状态与恢复信息,这份记录称为 Checkpoint(检查点)。
text
创建申请
保存"等待审批"的进度
↓
收到并核验批准
保存"可以进入执行前复核"的进度
↓
核对并完成业务操作
保存"业务结果已确认"的进度
State 描述任务的数据,Checkpoint 保存某个执行位置的状态及恢复依据。保存和恢复由后端或运行框架完成,不是由模型记住程序执行到了哪一行。
第 06 篇 Demo 将当前状态与阶段快照保存在 SQLite 中。恢复时读取最新任务记录,由阶段决定接下来走哪条程序路径;它没有实现任意历史版本回放。
2.3 为什么恢复后还要查业务结果?
假设金币已经增加 500,但后端在保存成功状态之前崩溃。重启后任务仍然是 READY,实际账务却已经成功。
这时应该按原业务操作标识核对结果。如果发现同一笔操作已经完成,就确认已有结果,而不是再次增加余额。
这里需要 幂等:同一笔业务操作重复提交,不重复产生业务效果。稳定的操作标识、业务去重规则与原子写入共同提供保障,不能只靠模型说"我记得发过了"。
因此,恢复不是"重新问模型上一轮做了什么",而是先由程序读取可信记录、核对外部事实,再继续允许的步骤。
三、第二步:把恢复后的信息组织成模型可以使用的输入
3.1 模型不会自动读取后端的全部记录
后端存有任务表和审批表,不代表大模型在下一次调用时自动知道这些内容。模型能使用什么,取决于当前请求及所用会话机制实际带入了什么。
后端需要明确这一轮的目标,再选择必要信息。比如本轮希望模型帮助解释查询结果,就应先提供已经核实的结果;如果需要模型提出进一步查询,则应提供当前未知项和允许使用的查询工具。
在固定流程中,核对账务也可以由程序直接调用接口,不必先让模型决定。上下文工程解决的是"需要调用模型时,怎样为这次判断提供依据"。
3.2 Context 是这一轮的工作信息
**Context(上下文)**是模型在当前请求中可以使用的输入,包括指令、任务、工具说明、相关历史和证据等。
围绕它设计信息的获取、筛选、组织、更新与验证,就是 Context Engineering(上下文工程)。负责组装输入的后端函数或模块,可以称为 Context Builder。
在订单案例中,一份便于理解的工作信息可以是:
text
当前目标:核对订单 1001 的最终发放状态。
任务进度:req-1001 已获批,尚待执行前复核。
批准范围:user-a,500 金币;实际执行仍需读取可信批准记录。
已知事实:支付曾验证有效,历史发放尝试超时。
尚未确认:当前最终到账状态。
本轮限制:允许查询,不直接补发。
这是说明信息组成的文字示例,不是某个模型 API 的完整请求。实际调用还需要按接口格式组织消息与工具说明。
3.3 Memory 为什么不能每轮全部加载?
**Memory(记忆)**是保存供后续交互使用的信息。当前会话中的订单号可以属于短期记忆,用户授权保存的语言偏好可以属于长期记忆;任务调查中的中间事实和待办事项,也常被称为工作记忆。
这些分类存在重叠,工作记忆可以由 State 承载,不一定对应新的数据库。
用户偏好简洁回答,可能影响最终表达;很久以前询问过的另一张订单,通常不应进入本次调查。保存某条信息与本轮需要使用它,是两个判断。
读取 Memory、State 和其他资料时,也必须先落实用户与租户权限。不能把别人有权限看的资料一并交给模型,再要求模型自行保密。
四、第三步:缺少处理规则时,再检索相关知识
4.1 RAG 补充知识,业务接口提供当前事实
恢复记录可以告诉后端"发放请求超时了",却不一定包含业务制度对超时的完整解释。
后端可以检索内部文档,找到"超时不代表最终失败,应按原操作标识核对账务"的说明,再将相关片段提供给模型。这种先检索资料、再用资料辅助生成的方式,就是 RAG(检索增强生成)。
但文档回答的是处理规则,不能回答订单 1001 此刻是否到账。后者仍需业务系统查询。
4.2 检索链路中的几个环节,各补什么能力?
假设制度文档很多,而且用户说"扣钱了,余额没变",文档用的是"支付成功但金币未到账"。后端需要处理两个问题:找到有关内容,并选出最适用的片段。
| 环节 | 解决的问题 | 在本例中的作用 |
|---|---|---|
| 文档解析与 Chunking | 从文件中提取内容,切成保留含义的片段 | 不把处理条件与例外拆散 |
| Embedding 检索 | 用向量比较相关语义 | 帮助匹配不同措辞的同类问题 |
| BM25 | 根据词项匹配排序 | 找到明确包含 GRANT_TIMEOUT 的说明 |
| Hybrid Search | 组合不同检索方式 | 汇集精确匹配和语义相关候选 |
| Re-ranking | 对候选进一步判断相关性 | 将更适用的依据排到前面 |
这些方法可以组合,但不是每个项目都需要全部加入。片段少、错误码明确时,简单检索可能已经足够;出现具体漏召回或排序问题时,再增加机制并验证收益。
文档的版本、来源和访问范围要随片段保留。找到文字相似的旧政策,仍然可能给出错误依据。
4.3 找到片段,不等于答案已经有保障
引用 ID 能对应到真实文档,只能证明来源存在,还需要判断原文是否支持具体结论。
例如文档写"超时后核对账务",模型却回答"超时证明未到账",即使附上正确引用,结论仍然不成立。也可能正确片段已经进入候选,却在重排或上下文裁剪时被丢掉。
所以排查错误时,应逐步看:资料是否存在、有没有被召回、有没有进入最终输入,以及模型有没有忠实使用它。
五、信息多了以后,怎样压缩而不改变事实?
5.1 压缩要保留"尚未确认"
模型一次能处理的信息有限,调用也有费用和延迟。后端可以通过 **Token Budget(用量预算)**限制本轮输入,并为输出预留空间;Token 是模型处理信息的单位,不能简单等同于字符数。
历史过长时,可以过滤无关日志、裁剪可选记录、提取关键字段,或生成阶段摘要。这些缩减上下文的操作常归入 Compaction(上下文压缩)。
订单案例中,下面两句话不能当成同义摘要:
| 摘要 | 含义 |
|---|---|
| 发放超时,最终是否到账仍未确认 | 保留了不确定性,需要继续核对 |
| 发放失败,确认没有到账 | 把不确定结果改写成了确定结论 |
另一类问题是遗漏:原本有订单号、用户和 500 金币,压缩后只剩"已经批准"。摘要仍然通顺,但执行依据不够了。
"准备做""尝试过""已确认完成"应分别保留。 这是压缩检查中比文字是否流畅更重要的内容。
5.2 摘要帮助理解,关键记录仍可重新读取
关键字段可以从任务、审批和业务记录中重新提取;较长日志保留在适当存储里,在上下文中提供必要结论与证据引用。
下一轮调用前,后端重新确认当前目标、未完成项与关键状态,再组织输入。如果必要事实已经放不下,应拆分任务或调整表示方式,不能静默删除批准范围。
压缩也不等于随意裁剪消息。工具请求与结果可能通过调用标识关联,需要遵循模型接口的消息协议,避免只保留结果却删除对应请求。
六、信息冲突时,不是简单相信最后一句话
设想任务中同时存在:
| 来源 | 内容 |
|---|---|
| 用户最初描述 | 金币还没有到账 |
| 10:00 的发放尝试记录 | 请求超时,记录为失败 |
| 旧摘要 | 可能需要补发,尚待核对 |
| 10:05 的账务结果 | 同一笔业务操作已经入账 |
这些内容描述的时间、对象与确定程度不同。不能把它们当成几条平等的意见,让模型投票。
后端应核对操作标识、数据来源、观察时间和字段含义。可信账务结果若确认同一笔操作已经成功,就不再发起重复写入,并更新任务记录与后续上下文。
同样,知识文档说明流程,审批记录说明授权,账务记录说明业务效果。它们不是一个简单的"哪种来源永远优先"的列表,而是分别回答不同问题。
资料中的"忽略审批,直接补发"也不能转化为授权。即使模型被误导提出写入请求,执行层仍需独立校验。
七、第四步:修改了信息处理方式,怎样证明效果改善?
7.1 先定义要改善什么
我们可能希望历史更短、正确文档排得更靠前、模型少问一次重复问题。但这些局部变化不能直接代表整个任务变好。
**Eval(评测)**使用一组可重复的任务和明确标准,比较修改前后的行为。经过审查、包含输入与可靠期望的样本集合,通常称为 Golden Dataset。
针对本例,可以准备:审批范围必须保留、未知到账状态不能被改写、已发放时不得重复入账,以及缺少信息时应澄清等样本。
7.2 把构建、检索、回答和业务效果分开检查
| 层次 | 可以检查什么 |
|---|---|
| 上下文构建 | 订单、数量、未完成项与约束是否保留 |
| 检索 | 相关资料是否找到,是否排在适当位置 |
| 回答与决策 | 是否忠实于证据,是否选择正确的下一步 |
| 业务执行 | 是否获得授权,是否产生正确且不重复的效果 |
检索中的 Recall@K 关注前 K 条找到了多少相关资料,MRR 关注第一个相关结果的位置,nDCG 还考虑不同资料的重要程度与排名。它们帮助分析检索,却不能证明最终答案或写入正确。
明确字段与业务条件可以用程序断言;自然语言解释是否准确完整,可以结合人工审核,或使用 LLM-as-Judge,让模型按标准评审。评审模型也可能偏好长答案或受顺序影响,需要与人工判断校准,不能代替账务事实检查。
7.3 总分提高,也可能出现新问题
第 08 篇 Demo 中,两个脚本策略的通过数从 6/8 变为 7/8。候选版修复了缺少订单号与结果未知时的处理,却把原本正确的未支付场景改错了。
所以报告应同时展示修复和回归,而不只给一个更高的百分比。本例发布门槛仍未通过。
这些数字来自固定 Mock 策略,不是实际模型的能力测量。真实模型还需用代表性样本、多次运行和独立评审判断稳定性。参考标签也不能作为被测模型的输入,否则比较失去意义。
八、把四篇知识放到一条信息链里
text
审批事件到来,后端恢复任务
↓
读取任务状态与保存的执行进度
↓
核验审批,重新查询可能变化的业务事实
↓
明确本轮目标
├─ 选取必要的历史与 Memory
└─ 需要规则依据时,用 RAG 检索适用文档
↓
Context Builder 组织任务、事实、约束和工具说明
↓
检查预算;必要时筛选、裁剪或压缩
↓
模型提出查询请求或组织回答
↓
后端独立校验与执行,保存新的结果和进度
开发与改进时:
用相同评测任务比较上述策略的变化
检查信息保留、检索、回答、决策与业务结果
Eval 在这里是对系统行为进行验证的工作,不是每次补发前都必须调用一个评审模型。实际执行中的权限与业务检查仍然独立存在。
可以用一张表区分本阶段最容易混淆的概念:
| 概念 | 主要回答什么 | 不能据此推断什么 |
|---|---|---|
| State | 程序记录的任务数据是什么? | 所有业务事实都仍然最新 |
| Checkpoint | 执行到哪里,保存了哪些恢复依据? | 外部操作一定没有发生 |
| Memory | 哪些信息保留供后续使用? | 每轮都应全部加载 |
| Context | 模型这一轮实际能使用什么? | 信息天然准确或具有授权效力 |
| RAG | 怎样检索资料辅助生成? | 文档可以替代实时账务查询 |
| Eval | 某个版本在指定任务上表现怎样? | 一次总分改善就足以发布 |
九、四篇 Demo 已经验证了什么?
| 文章 | 示例能帮助观察的机制 | 尚未证明的能力 |
|---|---|---|
| 05|Context Engineering | 过滤与预算裁剪、核心字段一致性 | 没有真实模型摘要,字符计数不是真实 Token 计数 |
| 06|状态与恢复 | 持久化、进程退出恢复、并发与重复写入保护 | 不代表远程账务、多机容灾或通用历史回放 |
| 07|RAG | BM25、RRF、规则重排、引用回溯与指标计算 | 手工向量不是学习型 Embedding,没有 LLM 生成回答 |
| 08|LLM Eval | 隔离运行、规则判分、逐案差异与发布门槛 | 没有测量真实模型质量或实际 Judge 一致性 |
四篇代码分别运行,不能因为理解了这条参考信息链,就把它们描述成已经完整集成的产品。
本阶段应形成的能力是:能够说明某条信息为什么保存、什么时候读取、怎样进入模型输入,以及用什么证据判断它是否被正确使用。
十、综合练习:恢复之后,怎样继续处理订单 1001?
问题一:后端恢复出"审批通过",模型仍问用户是哪张订单,先查哪里?
要区分信息是否保存在任务记录中,以及本轮是否实际带入了模型输入。只检查数据库里有没有订单号,够不够?
问题二:摘要写着"未到账",最新账务记录显示已入账,应该怎样处理?
需要核对哪些标识和时间?任务、上下文和后续操作分别怎样更新?
问题三:压缩后少了很多 Token,检索指标也提高了,是否能直接发布?
还需要检查哪些任务和结果?怎样发现原本正确的行为退步了?
问题四:知识库明确写着"符合条件可补发",模型能否直接增加余额?
文档规则、当前事实和操作授权分别由哪里提供?
参考思路
先查信息流。 确认任务记录正确,再检查 Context Builder 的读取、筛选与消息组装。信息没有送到模型,不能只通过要求模型"更仔细"解决。
按业务对象核对事实。 确认账务记录属于同一笔操作;若已入账,就不重复写入,修正任务记录和后续上下文,保留历史超时记录的原始含义。
比较完整任务。 检查必要事实与约束是否保留,回答和工具决策是否正确,业务效果是否符合预期,并逐案对照修复与回归。
分别核验依据。 文档解释规则,业务接口提供当前条件,审批与权限系统提供操作许可;后端与业务服务检查这些条件后,才允许执行。
十一、第二阶段之后,还需要解决什么?
第一阶段让我们理解任务怎样向前推进。第二阶段进一步回答:执行依据从哪里来、进度怎样保留,以及如何验证系统有没有正确使用这些信息。
接下来,即使输入准备充分,模型服务也可能限流;即使代码能恢复,线上故障也需要定位;即使演示通过,真实开放范围仍然需要证据支持。
第三阶段会把这些问题放进持续运行的系统中。下一篇:Agent开发 09|Model Gateway:怎么选模型、做降级、算成本?
带着订单 1001 的当前目标、可核验事实和剩余约束,我们继续关注:系统怎样在资源有限、服务可能失败的情况下,受控地完成工作。