Agent开发·阶段总结(二)|从上下文到评测,串起 Agent 的信息与质量管理

Agent开发·阶段总结(二)|从上下文到评测,串起 Agent 的信息与质量管理

《Agent开发》系列 · 第二阶段复盘(05---08 篇)

订单 1001 的金币未到账问题,已经进入人工审批。运营人员批准向 user-a 补发 500 金币,但执行前仍需要核对最终到账状态。等待期间,AI 助手后端重启了。

恢复任务时,如果后端只给大模型一句"审批通过,可以继续",它知道该处理哪张订单吗?如果历史摘要写着"发放失败",它能直接判断金币没有到账吗?如果我们换了一种压缩或检索策略,又怎样知道结果变好了?

这几个问题,把第二阶段的四篇文章连在了一起:

  1. Agent开发 05|Context Engineering:如何构建高质量的模型上下文?
  2. Agent开发 06|状态与恢复:任务中断后如何继续?
  3. Agent开发 07|RAG:如何找到并用好企业知识?
  4. Agent开发 08|LLM Eval:怎么验证 Agent 的效果?

本篇沿着任务恢复后的处理过程,解释信息怎样被保存、重新读取、交给模型,并最终接受验证。即使没有阅读这四篇,也可以先通过案例建立整体认识。

下面是一条串联知识的参考流程。四篇 Demo 分别验证了其中的机制,还没有整合成真实订单与账务系统。

一、先分清:保存了什么,模型看到了什么,业务发生了什么?

后端重启后,需要面对几种不同的信息:

信息 订单案例中的内容 它能说明什么
任务记录 正在处理订单 1001,申请已获批,等待执行前复核 程序记录的处理进度
审批记录 req-1001 批准向 user-a 补发 500 金币 获准操作的具体范围
历史发放记录 某次请求超时,被标记为失败 当时那次尝试的记录
当前账务结果 这笔发放是否实际入账 业务系统中的执行事实
模型当前输入 后端本轮提供的任务、事实、约束与工具说明 模型这一轮可以使用的信息

它们不能互相替代。任务记录保存着"尚未完成",不证明业务一定没有发生;模型读到了"已经批准",也不意味着后端可以跳过批准范围检查。

保存了信息,不代表模型看到了;模型看到了,不代表信息仍然有效;回答得很肯定,也不代表业务已经完成。

这几个区别,是理解第二阶段最重要的起点。

二、第一步:后端先恢复进度,再决定怎样继续

2.1 State 记录任务现在是什么情况

后端需要知道任务编号、订单编号、关联申请、当前阶段,以及尚未完成的工作。这些由程序维护的任务执行数据,就是 State(状态)。

订单 1001 的状态可以记录:任务是 task-1001,申请是 req-1001,阶段为 READY,下一步需要核对业务条件。

这里的 READY 只表示按当前任务记录可以进入后续处理,不等于允许无条件写入余额。状态中的旧查询结果,也可能需要更新。

2.2 Checkpoint 保存可恢复的执行进度

后端在明确的执行边界保存状态与恢复信息,这份记录称为 Checkpoint(检查点)。

text 复制代码
创建申请
    保存"等待审批"的进度
        ↓
收到并核验批准
    保存"可以进入执行前复核"的进度
        ↓
核对并完成业务操作
    保存"业务结果已确认"的进度

State 描述任务的数据,Checkpoint 保存某个执行位置的状态及恢复依据。保存和恢复由后端或运行框架完成,不是由模型记住程序执行到了哪一行。

第 06 篇 Demo 将当前状态与阶段快照保存在 SQLite 中。恢复时读取最新任务记录,由阶段决定接下来走哪条程序路径;它没有实现任意历史版本回放。

2.3 为什么恢复后还要查业务结果?

假设金币已经增加 500,但后端在保存成功状态之前崩溃。重启后任务仍然是 READY,实际账务却已经成功。

这时应该按原业务操作标识核对结果。如果发现同一笔操作已经完成,就确认已有结果,而不是再次增加余额。

这里需要 幂等:同一笔业务操作重复提交,不重复产生业务效果。稳定的操作标识、业务去重规则与原子写入共同提供保障,不能只靠模型说"我记得发过了"。

因此,恢复不是"重新问模型上一轮做了什么",而是先由程序读取可信记录、核对外部事实,再继续允许的步骤。

三、第二步:把恢复后的信息组织成模型可以使用的输入

3.1 模型不会自动读取后端的全部记录

后端存有任务表和审批表,不代表大模型在下一次调用时自动知道这些内容。模型能使用什么,取决于当前请求及所用会话机制实际带入了什么。

后端需要明确这一轮的目标,再选择必要信息。比如本轮希望模型帮助解释查询结果,就应先提供已经核实的结果;如果需要模型提出进一步查询,则应提供当前未知项和允许使用的查询工具。

在固定流程中,核对账务也可以由程序直接调用接口,不必先让模型决定。上下文工程解决的是"需要调用模型时,怎样为这次判断提供依据"。

3.2 Context 是这一轮的工作信息

**Context(上下文)**是模型在当前请求中可以使用的输入,包括指令、任务、工具说明、相关历史和证据等。

围绕它设计信息的获取、筛选、组织、更新与验证,就是 Context Engineering(上下文工程)。负责组装输入的后端函数或模块,可以称为 Context Builder。

在订单案例中,一份便于理解的工作信息可以是:

text 复制代码
当前目标:核对订单 1001 的最终发放状态。
任务进度:req-1001 已获批,尚待执行前复核。
批准范围:user-a,500 金币;实际执行仍需读取可信批准记录。
已知事实:支付曾验证有效,历史发放尝试超时。
尚未确认:当前最终到账状态。
本轮限制:允许查询,不直接补发。

这是说明信息组成的文字示例,不是某个模型 API 的完整请求。实际调用还需要按接口格式组织消息与工具说明。

3.3 Memory 为什么不能每轮全部加载?

**Memory(记忆)**是保存供后续交互使用的信息。当前会话中的订单号可以属于短期记忆,用户授权保存的语言偏好可以属于长期记忆;任务调查中的中间事实和待办事项,也常被称为工作记忆。

这些分类存在重叠,工作记忆可以由 State 承载,不一定对应新的数据库。

用户偏好简洁回答,可能影响最终表达;很久以前询问过的另一张订单,通常不应进入本次调查。保存某条信息与本轮需要使用它,是两个判断。

读取 Memory、State 和其他资料时,也必须先落实用户与租户权限。不能把别人有权限看的资料一并交给模型,再要求模型自行保密。

四、第三步:缺少处理规则时,再检索相关知识

4.1 RAG 补充知识,业务接口提供当前事实

恢复记录可以告诉后端"发放请求超时了",却不一定包含业务制度对超时的完整解释。

后端可以检索内部文档,找到"超时不代表最终失败,应按原操作标识核对账务"的说明,再将相关片段提供给模型。这种先检索资料、再用资料辅助生成的方式,就是 RAG(检索增强生成)。

但文档回答的是处理规则,不能回答订单 1001 此刻是否到账。后者仍需业务系统查询。

4.2 检索链路中的几个环节,各补什么能力?

假设制度文档很多,而且用户说"扣钱了,余额没变",文档用的是"支付成功但金币未到账"。后端需要处理两个问题:找到有关内容,并选出最适用的片段。

环节 解决的问题 在本例中的作用
文档解析与 Chunking 从文件中提取内容,切成保留含义的片段 不把处理条件与例外拆散
Embedding 检索 用向量比较相关语义 帮助匹配不同措辞的同类问题
BM25 根据词项匹配排序 找到明确包含 GRANT_TIMEOUT 的说明
Hybrid Search 组合不同检索方式 汇集精确匹配和语义相关候选
Re-ranking 对候选进一步判断相关性 将更适用的依据排到前面

这些方法可以组合,但不是每个项目都需要全部加入。片段少、错误码明确时,简单检索可能已经足够;出现具体漏召回或排序问题时,再增加机制并验证收益。

文档的版本、来源和访问范围要随片段保留。找到文字相似的旧政策,仍然可能给出错误依据。

4.3 找到片段,不等于答案已经有保障

引用 ID 能对应到真实文档,只能证明来源存在,还需要判断原文是否支持具体结论。

例如文档写"超时后核对账务",模型却回答"超时证明未到账",即使附上正确引用,结论仍然不成立。也可能正确片段已经进入候选,却在重排或上下文裁剪时被丢掉。

所以排查错误时,应逐步看:资料是否存在、有没有被召回、有没有进入最终输入,以及模型有没有忠实使用它。

五、信息多了以后,怎样压缩而不改变事实?

5.1 压缩要保留"尚未确认"

模型一次能处理的信息有限,调用也有费用和延迟。后端可以通过 **Token Budget(用量预算)**限制本轮输入,并为输出预留空间;Token 是模型处理信息的单位,不能简单等同于字符数。

历史过长时,可以过滤无关日志、裁剪可选记录、提取关键字段,或生成阶段摘要。这些缩减上下文的操作常归入 Compaction(上下文压缩)。

订单案例中,下面两句话不能当成同义摘要:

摘要 含义
发放超时,最终是否到账仍未确认 保留了不确定性,需要继续核对
发放失败,确认没有到账 把不确定结果改写成了确定结论

另一类问题是遗漏:原本有订单号、用户和 500 金币,压缩后只剩"已经批准"。摘要仍然通顺,但执行依据不够了。

"准备做""尝试过""已确认完成"应分别保留。 这是压缩检查中比文字是否流畅更重要的内容。

5.2 摘要帮助理解,关键记录仍可重新读取

关键字段可以从任务、审批和业务记录中重新提取;较长日志保留在适当存储里,在上下文中提供必要结论与证据引用。

下一轮调用前,后端重新确认当前目标、未完成项与关键状态,再组织输入。如果必要事实已经放不下,应拆分任务或调整表示方式,不能静默删除批准范围。

压缩也不等于随意裁剪消息。工具请求与结果可能通过调用标识关联,需要遵循模型接口的消息协议,避免只保留结果却删除对应请求。

六、信息冲突时,不是简单相信最后一句话

设想任务中同时存在:

来源 内容
用户最初描述 金币还没有到账
10:00 的发放尝试记录 请求超时,记录为失败
旧摘要 可能需要补发,尚待核对
10:05 的账务结果 同一笔业务操作已经入账

这些内容描述的时间、对象与确定程度不同。不能把它们当成几条平等的意见,让模型投票。

后端应核对操作标识、数据来源、观察时间和字段含义。可信账务结果若确认同一笔操作已经成功,就不再发起重复写入,并更新任务记录与后续上下文。

同样,知识文档说明流程,审批记录说明授权,账务记录说明业务效果。它们不是一个简单的"哪种来源永远优先"的列表,而是分别回答不同问题。

资料中的"忽略审批,直接补发"也不能转化为授权。即使模型被误导提出写入请求,执行层仍需独立校验。

七、第四步:修改了信息处理方式,怎样证明效果改善?

7.1 先定义要改善什么

我们可能希望历史更短、正确文档排得更靠前、模型少问一次重复问题。但这些局部变化不能直接代表整个任务变好。

**Eval(评测)**使用一组可重复的任务和明确标准,比较修改前后的行为。经过审查、包含输入与可靠期望的样本集合,通常称为 Golden Dataset。

针对本例,可以准备:审批范围必须保留、未知到账状态不能被改写、已发放时不得重复入账,以及缺少信息时应澄清等样本。

7.2 把构建、检索、回答和业务效果分开检查

层次 可以检查什么
上下文构建 订单、数量、未完成项与约束是否保留
检索 相关资料是否找到,是否排在适当位置
回答与决策 是否忠实于证据,是否选择正确的下一步
业务执行 是否获得授权,是否产生正确且不重复的效果

检索中的 Recall@K 关注前 K 条找到了多少相关资料,MRR 关注第一个相关结果的位置,nDCG 还考虑不同资料的重要程度与排名。它们帮助分析检索,却不能证明最终答案或写入正确。

明确字段与业务条件可以用程序断言;自然语言解释是否准确完整,可以结合人工审核,或使用 LLM-as-Judge,让模型按标准评审。评审模型也可能偏好长答案或受顺序影响,需要与人工判断校准,不能代替账务事实检查。

7.3 总分提高,也可能出现新问题

第 08 篇 Demo 中,两个脚本策略的通过数从 6/8 变为 7/8。候选版修复了缺少订单号与结果未知时的处理,却把原本正确的未支付场景改错了。

所以报告应同时展示修复和回归,而不只给一个更高的百分比。本例发布门槛仍未通过。

这些数字来自固定 Mock 策略,不是实际模型的能力测量。真实模型还需用代表性样本、多次运行和独立评审判断稳定性。参考标签也不能作为被测模型的输入,否则比较失去意义。

八、把四篇知识放到一条信息链里

text 复制代码
审批事件到来,后端恢复任务
    ↓
读取任务状态与保存的执行进度
    ↓
核验审批,重新查询可能变化的业务事实
    ↓
明确本轮目标
    ├─ 选取必要的历史与 Memory
    └─ 需要规则依据时,用 RAG 检索适用文档
    ↓
Context Builder 组织任务、事实、约束和工具说明
    ↓
检查预算;必要时筛选、裁剪或压缩
    ↓
模型提出查询请求或组织回答
    ↓
后端独立校验与执行,保存新的结果和进度

开发与改进时:
    用相同评测任务比较上述策略的变化
    检查信息保留、检索、回答、决策与业务结果

Eval 在这里是对系统行为进行验证的工作,不是每次补发前都必须调用一个评审模型。实际执行中的权限与业务检查仍然独立存在。

可以用一张表区分本阶段最容易混淆的概念:

概念 主要回答什么 不能据此推断什么
State 程序记录的任务数据是什么? 所有业务事实都仍然最新
Checkpoint 执行到哪里,保存了哪些恢复依据? 外部操作一定没有发生
Memory 哪些信息保留供后续使用? 每轮都应全部加载
Context 模型这一轮实际能使用什么? 信息天然准确或具有授权效力
RAG 怎样检索资料辅助生成? 文档可以替代实时账务查询
Eval 某个版本在指定任务上表现怎样? 一次总分改善就足以发布

九、四篇 Demo 已经验证了什么?

文章 示例能帮助观察的机制 尚未证明的能力
05|Context Engineering 过滤与预算裁剪、核心字段一致性 没有真实模型摘要,字符计数不是真实 Token 计数
06|状态与恢复 持久化、进程退出恢复、并发与重复写入保护 不代表远程账务、多机容灾或通用历史回放
07|RAG BM25、RRF、规则重排、引用回溯与指标计算 手工向量不是学习型 Embedding,没有 LLM 生成回答
08|LLM Eval 隔离运行、规则判分、逐案差异与发布门槛 没有测量真实模型质量或实际 Judge 一致性

四篇代码分别运行,不能因为理解了这条参考信息链,就把它们描述成已经完整集成的产品。

本阶段应形成的能力是:能够说明某条信息为什么保存、什么时候读取、怎样进入模型输入,以及用什么证据判断它是否被正确使用。

十、综合练习:恢复之后,怎样继续处理订单 1001?

问题一:后端恢复出"审批通过",模型仍问用户是哪张订单,先查哪里?

要区分信息是否保存在任务记录中,以及本轮是否实际带入了模型输入。只检查数据库里有没有订单号,够不够?

问题二:摘要写着"未到账",最新账务记录显示已入账,应该怎样处理?

需要核对哪些标识和时间?任务、上下文和后续操作分别怎样更新?

问题三:压缩后少了很多 Token,检索指标也提高了,是否能直接发布?

还需要检查哪些任务和结果?怎样发现原本正确的行为退步了?

问题四:知识库明确写着"符合条件可补发",模型能否直接增加余额?

文档规则、当前事实和操作授权分别由哪里提供?

参考思路

先查信息流。 确认任务记录正确,再检查 Context Builder 的读取、筛选与消息组装。信息没有送到模型,不能只通过要求模型"更仔细"解决。

按业务对象核对事实。 确认账务记录属于同一笔操作;若已入账,就不重复写入,修正任务记录和后续上下文,保留历史超时记录的原始含义。

比较完整任务。 检查必要事实与约束是否保留,回答和工具决策是否正确,业务效果是否符合预期,并逐案对照修复与回归。

分别核验依据。 文档解释规则,业务接口提供当前条件,审批与权限系统提供操作许可;后端与业务服务检查这些条件后,才允许执行。

十一、第二阶段之后,还需要解决什么?

第一阶段让我们理解任务怎样向前推进。第二阶段进一步回答:执行依据从哪里来、进度怎样保留,以及如何验证系统有没有正确使用这些信息。

接下来,即使输入准备充分,模型服务也可能限流;即使代码能恢复,线上故障也需要定位;即使演示通过,真实开放范围仍然需要证据支持。

第三阶段会把这些问题放进持续运行的系统中。下一篇:Agent开发 09|Model Gateway:怎么选模型、做降级、算成本?

带着订单 1001 的当前目标、可核验事实和剩余约束,我们继续关注:系统怎样在资源有限、服务可能失败的情况下,受控地完成工作。

相关推荐
J船长1 小时前
Agent开发 05|Context Engineering:如何构建高质量的模型上下文?
agent
J船长1 小时前
Agent开发·阶段总结(一)|从工具调用到协作审批,串起 Agent 的执行过程
agent
J船长2 小时前
Agent开发 04|协作与审批:怎样分工、何时让人确认?
agent
江屿风3 小时前
AI Agent架构全解析:从规划到记忆的智能跃迁
人工智能·笔记·架构·agent·c/s·mcp工作流
J船长5 小时前
Agent开发 03|架构选型:不同模式怎么选?
agent
J船长6 小时前
Agent开发 02|Agent Loop:任务如何持续执行?
agent
J船长7 小时前
Agent开发 01|Function Calling:AI 如何调用工具?
agent
SA-D9 小时前
Agent 如何防御 Prompt 注入:从输入信任边界到工具执行授权
agent·提示词注入·prompt注入
J船长19 小时前
Agent开发 00|从 ChatGPT 到生产级 AI Agent
agent