一句“你好”用了 5671 Token:我在 Workrun 中追查 Agent 隐性成本的过程

我原来觉得,Workrun 的对话入口应该有一个足够能干的主 Agent。

用户说什么,它先理解。普通问题自己回答,需要工具就调用工具,需要 Workflow 就交给规划 Agent,方案确认后再交给编排 Agent。复杂性留在内部,用户只面对一个输入框。

直到我发了一句:

你好,今天过得怎么样?

回复没有异常,Workrun 自带的用量统计却显示:5671 Token。

这个数字让我不太舒服。倒不是一次问候的费用有多高,而是我解释不了它。用户没有提出复杂需求,系统为什么要做这么多准备?如果连这笔账都说不清,后面继续加工具、加 Skill、加 Agent,我又凭什么判断成本是合理的?

我最初怀疑提示词太长。回头看,这个怀疑没错,但也不够。后来真正改动的,是模型参与决策的范围,以及系统把信息交给模型的方式。

我缺少的不是另一个总数

Workrun 并非没有监控。除了界面的 Token 统计,之前还接了 OpenTelemetry,用 Rust 的 tracing 和 ADK 的 OTLP Layer 导出运行信息。

早期接入的核心代码是:

rust 复制代码
let filter = Targets::new()
    .with_target("workrun_lib", LevelFilter::INFO)
    .with_target("adk_", LevelFilter::INFO);

let layer =
    adk_telemetry::build_otlp_layer::<tracing_subscriber::Registry>(
        SERVICE_NAME,
        &endpoint,
    )?;

它适合帮我检查执行过程。但我当时需要回答的问题已经变了:不是某个函数为什么慢,而是一次模型请求为什么需要这么大的输入。

一次用户交互可能包含多次模型调用。工具的返回值进入下一轮上下文,之前的历史又被读一次。只知道总用量,即使再画一张统计图,也看不出哪一步值得改。

我想直接打开一次调用,看看完整的消息、工具定义、返回内容,以及下一次调用为什么发生。Langfuse 提供的 LLM 观测方式更贴近这个排查过程。

这里容易产生一个误解:我没有用 Langfuse 替换 OpenTelemetry。 OpenTelemetry 负责采集和传输,Langfuse 是接收、解释这些数据的后端之一。原来的问题在于 Workrun 当时提供的 LLM 语义和排查视图不足,不是 OpenTelemetry 不能记录它们。Langfuse OpenTelemetry 接入说明

现在仍然复用 ADK 的 OTLP Layer,另外增加 NativeAdapter,把模型调用映射为 Generation,并补上角色、会话等信息。用于排查的输入来自实际模型请求:

rust 复制代码
json!({
    "messages": request.contents.iter().map(content).collect::<Vec<_>>(),
    "tools": request.tools,
    "config": request.config
})

正文采集受开关控制。工具调用则在原生执行边界记录参数和结果。

之所以强调"实际边界",是因为后面真的踩过坑:保存成功后提前结束 SDK 调用,业务完成了,外层观测却没来得及记下工具返回。后来把记录放到工具真正执行的地方,先记结果,再结束流程。

这让我认识到,观测也需要验证。否则拿着不完整的 Trace 优化,很容易改错地方。

接入之后,我用 「订单取消:风险路由与回归评测」 Workflow 做实际运行对比。一边看 Workrun 中的流程定义和运行结果,一边在 Langfuse 中展开同一次运行的 Trace,通过采集到的埋点检查执行顺序、风险路由结果,以及相关调用的输入输出、耗时和 Token 用量。

「订单取消:风险路由与回归评测」Workflow 画布及运行结果

同一次运行在 Langfuse 中的 Trace,展开关键路由与调用详情

这里的"还原"是查看已经记录的执行过程,不是在 Langfuse 中重新运行 Workflow。画布展示流程如何定义,Trace 展示这次实际执行了什么;能看到多少细节,取决于对应执行边界是否被完整采集。

这些信息让我能继续追问:一次输入实际走了哪条路径,某个步骤为什么调用模型,工具结果如何进入后续上下文。后面的调整也需要结合实际结果和回归评测判断,不能只看总用量有没有下降。

一个"能干的入口",为什么开始变贵

Workrun 原来的主 Agent 同时承担对话、任务处理、请求范围判断和专家委派。代码里的模块注释就能说明这一点:

rust 复制代码
//! Main agent: conversation, direct work,
//! turn grants and specialist delegation.

按职责画出来,是这样的:

这不是说每次都走完这条链路。问题是,为了决定走哪条路,入口逐渐需要了解越来越多东西。

当时我并不打算再加一个路由 Agent。已经有主 Agent 判断了,再加一层,是不是把简单事情复杂化?我甚至一度希望保留原来的结构,只把提示词压短。

但普通任务的能力不会停止增长。今天支持文件,明天增加工具,后天补充 Skill。只要入口还负责真正处理任务,它的上下文就会继续增加。

所以最后还是拆了。理由不是"多 Agent 更先进",而是入口的判断需求相对稳定,任务能力却会持续变化。这两种变化不该一直绑在一起。

Router 只返回 conversation、task 或 workflow。它读取有限消息预览和状态摘要,不接收完整工具结果。真正处理请求的 Agent 仍然使用原始输入。

代价也很明确:普通对话通常变成两次调用,一次路由,一次回答。当前各角色仍然复用用户选定的模型,"轻量"指上下文和职责,不是另配了一个便宜模型。

所以不能只凭拆分就宣布省钱。这个选择先解决了能力增长时的边界问题,成本仍要把新增路由算进去,再看整体。

路由便宜没有用,走错路更贵

拆分中有一个真实错误,给我留下的印象比 Token 数字更深。

我输入:

帮我创建一个成绩判断 Workflow:输入成绩 score,大于等于 60 输出"通过",否则输出"未通过"。输入成绩应当可以在每次运行时填写。先给我规划方案,不要创建或执行。

模型写了一篇方案,最后却问:

你用的是哪个 Workflow 平台?具体的输入节点、条件节点、输出节点叫什么,我这边看不到工作区。

它在 Workrun 里问我用什么平台。

从用户结果看,这条路径已经错了:一个产品内部的规划请求,被当成通用咨询处理。

"先给方案"只是限制暂时不要创建,并没有把请求变成普通聊天。后来 Router 明确了这个边界:

text 复制代码
"Plan first", "do not create yet" and "do not execute"
restrict later actions; they do not turn a Workflow
project request into general conversation.

修复后,同一请求才进入原生规划流程,生成待确认的方案卡片。

我用成绩判断做测试,不是因为系统只需要处理这种需求。它足够简单,能让我更容易分辨:这次复杂性到底来自用户,还是来自系统自己。

这也给后面的评估加了一个前提:先确认请求走对了、结果可用,再比较花了多少钱。走错流程得到一个低用量,没有意义。

预算与归属,是另外一笔账

Langfuse 让我能追问为什么花这些 Token。但团队模式还需要回答:谁可以调用哪些模型,一共能花多少,每个人分别花了多少?

这部分我接入了 LiteLLM Proxy。

个人自行配置模型时,调用比较直接:

团队模型增加 Server 和网关:

个人直连仍然存在。团队凭证留在服务端,预算与限流集中在网关,不再散落到各个客户端。LiteLLM 已经提供 Virtual Key 和相关控制能力,我没必要在 Workrun 里再写一套。Virtual Key、预算与限流

这里有个容易混淆的点:团队共用一把 Virtual Key,不等于团队成员只能合并统计。

Workrun 使用 End User 字段区分成员。Server 根据已认证用户生成稳定标识:

ts 复制代码
const endUser = `workrun:${settings.deploymentId}:${encodeURIComponent(userId)}`;

const request = {
  ...adaptJsonOutput(parameters, configuredAliases),
  user: endUser,
  metadata: {
    workrun_request_id: requestId,
    workrun_team_id: settings.teamId,
  },
};

deploymentId 区分部署,userId 区分成员。最终可能是:

LiteLLM 支持根据请求中的 user 跟踪 End User 消耗。Customer Usage 文档

但这个身份不能让客户端随便填。Server 写入字段时会覆盖客户端声明,测试也验证了两个用户即使提交伪造身份,发出的仍然是各自的真实标识:

ts 复制代码
expect(sent.map((request) => request.user)).toEqual([
  "workrun:deployment-a:user-1",
  "workrun:deployment-a:user-2",
]);

Responses 也写入相同的 user,另将其哈希用于 safety_identifier。后者是另一个协议字段,不替代统计归属。

Virtual Key 需要在网关侧绑定团队;workrun_team_id 只是业务元数据。传入 user 也不代表自动设好了个人额度,需要成员预算时,仍要另外配置 End User 限制。

这部分边界我希望保持简单:凭证负责团队访问,服务端认证决定用户身份,请求字段负责把身份传给网关。不要为了统计每位成员,再给产品增加一套 Key 的生命周期。

网关统一了入口,没有消除模型差异

接入 LiteLLM 后,切换到当时配置的 DeepSeek,直接遇到 400:

text 复制代码
The model gateway rejected the request.

error.type: invalid_request_error
error.code: upstream_error

查到实际请求,问题是结构化输出。路由需要固定 JSON,原来的 json_schema 不能被当时这条模型路径直接接受。

最后通过配置声明需要适配的模型别名:

env 复制代码
LITELLM_JSON_OBJECT_MODELS=deepseek-v4-flash

命中后,将格式改为 json_object,Schema 放入指令。Chat Completions 的核心修改是:

ts 复制代码
return {
  ...parameters,
  response_format: { type: "json_object" },
  messages: [
    ...parameters.messages,
    {
      role: "system",
      content: instruction(format.json_schema.schema),
    },
  ],
};

Responses 分别处理 text.format 和 instructions。代码集中在 apps/server/src/modules/llm/llm.output.ts。

JSON Mode 不能保证业务字段符合 Schema,应用侧解析和校验仍然保留。这项适配也只针对配置的模型路径,不据此推断所有 DeepSeek 部署的能力。

我没有顺手设计一套模型能力探测框架。当前需要的是一个能解释、能测试的兼容入口。做得更泛化,并不会帮助这次排查。

提示词短了,整轮消耗却可能更高

有一轮,用户还没确认方案,规划阶段就用了 31732 Token。

接下来几轮开始反复:删提示词、缩短参考内容、再测。某次降低了,下一轮又高了。

这段时间最容易做错的一件事,是把"输入说明更短"当作"任务成本更低"。

模型缺少配置知识,会去查工具。一次工具查询后,结果进入上下文,又发生下一轮调用。省下的那段说明,可能抵不过新增加的一轮请求。

所以我后来更关注信息在哪里出现,而不是一律少给。

规划时,先给节点能力概览,足够判断哪些执行方式可行。编排时,已经有确认过的方案,程序可以提前提供相关契约。context_contracts 收集 Start、End、方案建议节点和现有定义使用的节点,再读取它们的契约:

rust 复制代码
reference(&json!({
    "topic": "nodes",
    "node_types": kinds,
    "detail": "summary"
}))

节点契约保留完整 dataSchema、语义和分支句柄。方案里的建议也不是硬限制,需要其他节点仍然可以查询。

另外修了一个很具体的问题:请求 detail=summary 时,指定节点的示例仍可能返回全文。现在摘要分支只返回索引:

rust 复制代码
if kinds.is_empty() || args["detail"] == "summary" {
    json!({
        "id": example["id"],
        "node_type": example["node_type"],
        "summary": example["summary"]
    })
}

这些调整没有一句"让模型更聪明"的承诺,只是让它少找一遍已经知道的东西,也少读一些当前用不上的内容。

哪些事情,其实不必再问模型

优化到后面,我开始反过来检查:有些调用是不是根本不需要存在?

用户点击确认按钮时,程序已经知道方案 ID 和版本。还要让通用意图模型解释一次"确认第 1 版",没有增加多少信息,却多了消耗和误解机会。现在由原生状态直接恢复对应流程。

保存也是。编排 Agent 保存后总结,上层收到结果再总结,两次都要带上下文。只创建、不执行的请求,原生工具成功返回后就足以结束这一阶段。

实际停止条件仍然检查保存成功和执行范围:

rust 复制代码
if result.is_ok()
    && agent == "workflow_author"
    && name == "save_workflow_draft"
    && state.saved.is_some()
    && !state.registry.execution_allowed
{
    // 记录原生回执,结束当前调用。
}

不过,第一次去掉总结后,界面只剩卡片。我想要的"创建好了"的正常回复也没了。

最后在卡片外补了基于原生回执的说明,明确保存、校验、发布、执行状态,不增加模型调用,也不往 Workflow 里增加文案节点。

这类省略不能只看调用树。删掉一个步骤,它原来承担的产品反馈还得接住。

另一个更尴尬的问题是,某次回复和卡片都显示保存成功,打开却是 Not Found,列表也没有。

排查中一度想把团队草稿直接改为服务端存储,后来纠正了。Workrun 原来的约定是草稿在本地、发布后才上 Server,不能为了修一个读取问题改变产品语义。最终保留本地草稿,团队列表合并本地草稿与服务端已发布内容。

这让我更谨慎地使用"完成"这个词。模型生成了配置、工具保存成功、静态校验通过、用户能打开、实际运行正确,是不同的检查。我们这轮只创建不执行,就不能把静态校验写成运行验证成功。

先约定什么叫"编排成功",再讨论省了多少

前面还有一个问题没有说清楚:我们到底拿什么衡量一次编排对话?如果标准只是 Token 越少越好,让模型直接输出一份看起来像 Workflow 的 JSON,可能最便宜,但我不敢用。

Workrun 的节点是产品自己定义的。模型知道什么是条件分支,不代表它知道 Workrun 的分支句柄叫什么、字段怎样填写、上一个节点的结果怎样传给下一个节点。这些不能靠通用知识补出来。

所以,我现在会用下面这套标准检查一次编排。它未必是最终答案,但至少让优化有一个共同前提。

首先,模型得有依据地编排。 它需要先了解当前 Workrun 的文档结构、连线与状态规则,以及现有节点能做什么。选定某种节点后,必须先读取该节点的实际用法和配置契约,再生成配置。字段、输入输出和执行限制,都应该能在平台提供的说明里找到依据。

这里的"读取"不限定必须调用一次工具。如果完整契约已经由原生上下文提供,模型就可以直接使用;没提供的,必须查询。不能用一段节点简介替代配置文档,也不能因为模型见过其他 Workflow 产品,就默认它会配置 Workrun。

其次,产物要对应用户的需求。 用户要求每次运行填写的输入,就不能写死在定义里;要求确定性判断,就需要有明确的比较和输出逻辑。节点能够连起来,只是结构成立,还要检查输入从哪里来、结果由谁产生、最终如何返回。没有被要求的功能,也不应该为了显得完整而顺手加进去。

最后,完成到哪一步,就验证到哪一步。 只要求规划,就产出可审核的方案,不创建;确认创建后,检查配置校验、实际保存以及能否重新打开;授权运行后,再用输入和预期输出验证行为。静态校验通过不等于运行成功,没执行过就明确说尚未运行验证。用户也应该能从对话里知道当前状态,而不是猜一张卡片代表什么。

放到一次完整交互里,我期望看到的依据大致是:

text 复制代码
理解需求与操作范围
    ↓
读取 Workrun 编排规则和节点能力
    ↓
形成方案,等待用户确认
    ↓
读取所选节点的用法与完整配置契约
    ↓
生成配置,校验并保存
    ↓
确认产物可访问,说明保存与执行状态
    ↓
如获授权运行,再检查实际结果

这是一条检查思路,不要求每个框都对应一次模型或工具调用。相关说明可以提前提供,同一份有效契约也可以复用,但不能把这些依据省掉。

有了这个标准,再打开 Langfuse,我就不会把所有参考查询都当成浪费。第一次读取所选节点的配置说明,是必要成本;完整契约已经在上下文里,又反复读取相同手册,才值得排查。为了压缩输入删掉关键语义,导致后面猜字段、校验失败、再修复,也不能算优化成功。

后续比较就有了顺序:先看这套标准有没有满足,再在同模型、同任务和同阶段下比较用量、耗时与修复次数。一次请求便宜了一点,但更容易配错、需要用户反复纠正,我不会把它当成有效改进。

最后停下来的原因

我后来没有继续追着每一条更高的 Trace 修改。

前面一段时间已经接近循环:新数据高了就改,下一条低了就觉得有效,再高了又推翻。中间还换过模型,不固定条件,很多判断经不起比较。

后来固定输入和条件,把规划与创建分开评估。没测出改善的调整,就保留基线。也不拿最初问候的 5671 和某次完整创建的用量计算"节省比例"------它们根本不是同一件事。

如果要总结这次对我影响最大的变化,是我开始把 Token 当成系统行为的线索。高消耗可能来自必要工作,也可能说明职责放错了位置,或者一件事被反复确认、反复解释。

Langfuse 让我能检查这些判断,LiteLLM 给团队调用提供了统一的管理入口。它们都没有替我决定 Agent 应该怎样工作。

有了前面这套标准,再问"这一步为什么存在"才有意义。模型第一次读取节点用法,是在补齐编排依据;反复读取已有契约、重新解释已确认的状态,则可能是在重复工作。我想减少的是后面这些消耗,同时保住前面那些让结果可信的步骤。

以后给 Workrun 增加能力时,我会先问这些问题。总比功能加完以后,再从一句"你好"开始查账要好。

相关推荐
坤岭17 分钟前
Agentic BI 落地实战
后端
SameX17 分钟前
HarmonyOS ArkTS 做动画 FPS 自适应降级的滞后窗口做法
前端
SimonKing18 分钟前
AI Assistant被"隐藏"了?别慌,IDEA 2026.3 这波是换了个脑子
java·后端·程序员
诗句藏于尽头19 分钟前
游戏《完美神话》-使用Ai-agent进行修复已停服游戏到本地成功部署以及GM端网页完整教程
人工智能·学习·游戏
用户978876053904820 分钟前
Canvas 处理大图时如何不卡住主线程:一次浏览器端批量压缩的调度实践
前端
依晨照旧23 分钟前
从 MQ 积压查出 4000 个线程:不是泄漏,是事件总线的设计代价
人工智能
鶴哥只手遮天23 分钟前
# 《Electron 45.2.3 内核解剖》第 6 章 Node.js 集成:两个事件循环的婚姻
前端·electron·开源
bai27324 分钟前
别再手动刷后台了:用原生 CDP 给 4 个内容平台做登录态保活心跳
前端
核桃er30 分钟前
RuoYi-Vue 源码中的 Spring IoC 与 DI(两个实例)
后端