APMPlus・看得见的 Agent(三) | Agent 说完成,结果却不对?APMPlus Agent 轨迹帮你查清执行过程

01导语

对 Agent 开发者和使用者来说,最棘手的往往是:任务显示"已完成",但答案不对、关键信息遗漏;或者同样的任务突然变慢,Token 消耗也涨了。只看最终输出和总耗时,很难判断问题发生在哪一步,更难决定该调整提示词、工具调用,还是上下文处理。

在《APMPlus・看得见的 Agent》前两篇文章中,我们分别介绍了 OpenClaw 和 Hermes 的观测数据接入。模型、工具等调用记录进入 APMPlus 后,开发者可以沿着 Trace 查看调用关系、输入输出、耗时和 Token 消耗,排查报错与性能问题。

但调用成功,不代表回答就符合预期。比如,用户问"老用户能参加这次活动吗?",Agent 成功调用了查询工具,返回规则里写着"仅限新用户",最终却回答"可以参加"。整个过程没有报错,要查清原因,就得核对:工具拿到的规则是否完整,后续模型调用是否收到这条限制,最终回答又从哪里偏离了规则。

Trace 能提供这些调用的输入输出,但按调用树查看时,往往需要打开多个 Span,在用户问题、工具返回和后续模型响应之间来回切换。对于这种"执行成功、答案却不对"的问题,难点在于把分散的记录串成完整的交互过程,找到信息被遗漏或没有用对的环节。

为此,火山引擎 APMPlus 提供了 Agent 轨迹 的清洗和展示能力:把用户消息、Agent 响应、工具调用和返回结果按交互步骤串起来。在上面的例子中,你可以顺着步骤对照"老用户"的要求、"仅限新用户"的反馈,以及后续"可以参加"的回答,再展开相关步骤核对细节。结合耗时与 Token 指标,也能进一步分析每一步的执行消耗。轨迹与 Trace 相互补充,让任务交互与调用关系都更容易查看。

02Agent 轨迹,到底能看到什么?

实际排查时,可以从三个层次逐步收敛:先看一批任务的整体变化,再打开目标轨迹,最后展开相关步骤,核对模型响应与工具反馈。

从整体概览到单条轨迹,再展开步骤核对工具参数、反馈与耗时。基于演示任务的能力示意,非产品截图;图中数值对应下文实测演示。

先看整体:哪些任务值得关注

概览展示当前筛选条件下的 Agent 服务数、用户数、平均步骤数、平均 Token 消耗和平均耗时。先限定工作区、时间和 Agent 服务,再结合输入输出关键词、模型或工具名称、轨迹状态等条件,找到需要排查的任务和调用。

平均步骤数变多了,可以去核对任务是否更复杂,或者出现了重复尝试;平均 Token 消耗上涨,可以检查上下文和输出是否变长;平均耗时升高,再往下找模型或工具的慢调用。这些指标能提示整体变化,再结合轨迹列表判断影响范围,具体原因还要对照单条轨迹。

选择工作区、时间范围和 Agent 服务后,概览与列表显示 6 条轨迹,可结合耗时、步骤数和 Token 消耗定位任务。

再看单条轨迹:对照任务要求与执行结果

打开目标轨迹,先对照原始输入和最终输出,确认用户的要求有没有被满足,再结合步骤数、模型与工具调用次数、耗时和 Token 消耗,判断哪些环节需要重点查看。

最后看步骤:核对具体调用与反馈

轨迹详情同时展示执行指标与两条 Subagent 分支。

沿着交互顺序展开具体步骤,可以查看模型响应、工具调用参数和返回结果,核对 Agent 当时拿到了哪些信息,以及后续回答是否用对。遇到子 Agent 协作,也可以结合分支中的执行记录,检查任务交接和结果汇总。

展开 wait_agent 工具调用,可同时查看参数、返回结果、成功状态与 3.09 秒耗时;本次返回 timed_out=false。

执行状态正常,不代表答案一定正确。调用成功却答歪、工具结果没有被用上、同一段内容反复处理,仍要结合输入输出和业务要求核对。以上内容,以实际采集、上报并可解析的数据为准。

查看 Agent 轨迹能力说明:mic.anruicloud.com/url/2w4te8g...

03Agent 轨迹,最适合解决哪些问题?

排查 Agent 时常见的四类问题,包括:回答不对、响应变慢、Token 消耗升高和工具协作异常。沿着轨迹核对每一步的输入、响应与反馈,可以把这类问题收敛到具体的调用和执行环节中。

我们将通过以下几个场景,来说明排查思路。

回答错了,别只盯着最终答案

很多 Agent 出现的问题,压根不会报错。虽然它看起来很自然、很流畅,甚至很像那么回事,但最后就是答错了。

比如:本来该查天气,结果走了别的路径;工具结果拿到了,但最后总结时答偏了;多轮上下文理解错位;中间过程是对的,最后收束的时候飘了。

出现这类问题,如果只看最终输出,根本不知道是从哪一环节开始出错的。而 Agent 轨迹能把输入、输出和中间执行步骤串起来,你可以顺着链路回看:用户到底提了什么要求,System 给了什么约束,Agent 从哪一步开始偏离了要求,它调用了什么工具,工具返回了什么,最终输出又是什么,哪个环节偏离了事实就能一目了然。

更具体地说,排查回答问题时,Agent 轨迹能帮你区分两种情况:执行异常 (比如工具调用失败、超时),和运行成功但回答错误(所有步骤都正常执行,但最终结果和用户预期不一致)。而且,执行异常不一定导致最终答错,两种情况需要分别核对。排查时:前者查调用链和异常处理,后者核对可见的模型输入输出和上下文。如果不对照轨迹来看,很容易把后者当成前者来查,往往无功而返。

以前遇到这种事,通常只能对着结果倒推过程;现在可以直接回看现场记录,更加方便快捷。

同一演示任务的后续响应--等待工具返回后,Agent 汇总 Left: 17、Right: 29;展开步骤可查看该次响应的 Token 和缓存命中指标。

任务太慢了,先别急着归因到模型

Agent 一慢,很多人的第一反应就是模型慢了,但实际情况却并非如此。

有时候慢,可能是因为推理轮次变多了;也可能是某个工具卡住了;还有可能是工具结果太长,把后续上下文带胖了;再或者是某一步异常重试,把整条链路拖长了。

如果只能看到一个"总耗时",很难判断具体原因。有了轨迹,就能顺着步骤往下看:慢在第几步,是模型慢还是工具慢,是单步异常还是整条链路都在变长,清晰明了。再结合多条轨迹进行分析,就能进一步判断这种情况是个例,还是某类请求都在变慢。

这样,排障就不会只停留在"我怀疑",而是能进一步收敛到具体步骤中。

展开 Step 8,查看工具调用的 3.09 s 耗时,再结合其他步骤定位耗时来源;本图模型耗时显示为"---"。

Token 太高了,不能只感叹贵了

做 Agent,成本问题迟早会来。而且很多时候,它不是突然爆发,而是悄悄往上涨。

最难受的是:你能看到账单变多,却不知道具体问题出在哪。到底是因为步骤数变多了,某类任务上下文变长了?还是因为某个工具返回太大,某类会话一直在循环试错?

Agent 轨迹,可以直接把"Token 消耗异常"的问题,拉回到具体执行过程中。这时候,你不只能看到 Token 用量上来了,还能核对出消耗集中在哪些步骤中,再去优化,就知道该改哪里、先改哪里。

而且,Token 高不一定意味着浪费。复杂任务可能需要更多的输入和输出,同时,实际费用的计算也需结合模型定价、缓存计费方式和账单核对来确定,不能只凭 Token 数量判断。

展示 Token、缓存命中率与模型调用次数。

工具协作出问题了,尽快查清是哪次调用

Agent 强大,很大程度来自于工具协作;但工具一多,又难免会出现问题。

常见情况有很多:工具偶发失败;时延突然变长;参数传错导致结果异常;工具返回不符合预期,但 Agent 不报错,继续往下走;或者是工具出现问题,最后导致答案也不对。

有了 Agent 轨迹之后,这类问题就很容易查清楚。你可以很快确认:调的是哪个工具、调用了几次、哪一步调用失败、哪一步耗时异常,以及这个工具调用在整条链路里的上下文位置。

把工具调用放回完整的执行过程,就能一起核对参数、返回内容和后续响应,进一步判断是工具执行出了问题,还是 Agent 没有正确使用工具结果。

当然,调用状态成功并不等于任务完成。返回内容是否符合预期,还要结合后续处理和任务要求核对。

对照同一次工具调用的参数与返回内容,核对成功状态、59 ms 耗时,以及返回结果是否满足任务要求。

04同一次 Agent 执行,两种观察视角

需要注意的是,Agent 轨迹和 Trace 并不是替代关系,而是同一次 Agent 执行的两个互补视角。一次 Agent 执行,通常包含多轮模型调用、工具执行,有时还会有子 Agent 协作。Trace 和轨迹观察的是同一个过程,但组织信息的方式不同。

Trace 以 Span 组织调用关系。 模型调用、工具执行、服务请求,以及循环、轮次等逻辑操作,可以按父子关系组成调用树,方便追踪谁调用了谁、哪次调用慢、哪里发生异常。

轨迹以步骤组织任务交互。 它把用户消息、Agent 响应,以及相应的工具调用和反馈串起来,方便核对 Agent 每一步做了什么、收到了什么信息,以及这些信息如何衔接到后续响应。

两者可以包含相同的消息、工具结果和性能指标。区别在于,Trace 更突出操作之间的调用关系,轨迹更突出信息、行动与反馈的衔接。

05即刻试用

1. 完成接入并确认上报正常: 在 AI 应用监控中完成相关应用接入,先确认模型、工具等调用数据已经正常进入工作区集成 AI 应用:mic.anruicloud.com/url/534eg6h...。需要注意的是,数据清洗/轨迹生成功能需要保持开启;关闭后,将不再生成 Agent 轨迹数据。

2. 进入 Agent 轨迹页面: 登录 AI 应用监控,在左侧导航进入 Agent 轨迹页面:mic.anruicloud.com/url/sqrf245...

3. 筛到目标任务: 选择与接入一致的工作区和时间范围,再通过输入输出关键字、模型名称、工具名称、轨迹状态等条件筛选目标轨迹。

4. 先看输入输出,再下钻步骤: 打开单条轨迹后,先核对用户到底要了什么、Agent 最后交了什么;再看步骤数、模型调用次数、工具调用次数、Token 总量和耗时,最后逐步展开 Step,定位问题节点。

06结语

Agent 轨迹的价值,是让"这次结果不对"能够对应到具体步骤:检查请求有没有理解到位、工具有没有用对、返回信息有没有被正确使用,再结合耗时与 Token 消耗确定优化方向。借助 APMPlus,开发者和使用者可以从最终答案回到执行记录,让问题定位和效果改进更有依据。

未来,APMPlus 也将持续探索 Agent 可观测实践,帮助开发者和使用者更清楚地理解 Agent 的执行过程,构建稳定可靠的 Agent 应用。

相关推荐
羲云网络10 分钟前
Claude Fable 5.2 创意编程分析:程序化生成、多智能体协作与工程验收
人工智能·大语言模型·blender·游戏开发
Linye13 分钟前
HTML 流程图连线交叉看不清?聊聊画布避障折线与跳弧实现
前端·人工智能
weixin_4691636942 分钟前
金融租赁项目管理:维普时代以混合模型+AI实现管控与效率兼得
人工智能·金融
框架那些事儿1 小时前
深入 Pi 源码:一个优秀的 Agent,是如何管理上下文的?
人工智能·ai编程·全栈
Java内核笔记1 小时前
方法级 trace 看不出第几轮:给 Agent 补一层轮次维度
人工智能·spring boot·后端
AAA修煤气灶刘哥1 小时前
DSH Super-agent 双层架构:如何兼顾后台执行与持续响应
人工智能·后端·设计模式
阿里云大数据AI技术1 小时前
Hologres jev 能帮业务做什么?7 个场景,一句提问
人工智能
武子康1 小时前
H3-World 扩展跳跃与开门:新动作怎样进入训练数据?
大数据·人工智能·算法
网易云信1 小时前
网易智企 × 利尔达智能工牌:如何把一线对话变成可复用的企业资产
人工智能