Agent 的成本大头不在“写“,在“判断“:拆解专用决策模型的三层架构

上周团队复盘一个内部 Agent 的账单,发现一个反直觉的结论:花的钱最多的,不是它写的那些文档,而是它一天做的那上万次小判断。

这条线索把我引到了一个 2026 年 9 月才出现的新品类------专用决策模型。这篇不谈概念,只谈工程:它到底省在哪、架构怎么切、什么时候不该用。

一、先把问题定义清楚:什么叫"判断"

在 Agent 里,"写"和"判断"是两件完全不同的事。

```python

这是"判断"(输出空间有限、可枚举)

route = decide(message) # 返回: {"billing": 0.92, "tech": 0.06, "other": 0.02}

这是"表达"(输出空间无限)

reply = generate(message) # 返回: 一段自由文本

```

问题在于,过去我们用同一个工具干这两件事------都调通用大模型。于是"这条消息是不是投诉"这种只有两个答案的问题,也要走一轮完整的文本生成,然后从生成的散文里解析出结论。

代价是三重的:

  1. 延迟:以秒计,而不是毫秒;

  2. 成本:按生成 token 计费,而输出里真正有用的可能只有 3 个字符;

  3. 脆弱:解析依赖格式稳定,模型一"发挥",下游流程就断。

二、专用决策模型做了什么

2026-09-15,TypeSafe 发布 Jev,给出的答案是把这条路的后半段砍掉:

| 原语 | 签名 | 输出 |

|------|------|------|

| `noul` | 是/否问题 | `float` 概率(0--1) |

| `choice` | 从 ≤255 个选项里选 | `str` + 每项概率 |

| `score` | 在 2--10 级标尺打分 | `float` + 概率分布 |

关键设计是输出空间预先声明:

```json

{

"questions": {

"category": {

"type": "choice",

"instructions": "这条工单属于哪一类?",

"criteria": { "billing": "账单/退款", "tech": "技术故障", "other": "其他" }

}

}

}

```

因为答案只能落在你声明的空间里,所以类型错误在结构上不可能发生(官方称 0%,且明确说明"这不是实测值,是 schema 保证")。返回还带 `confidence`,用于校准决策阈值。

定价策略也顺着这个逻辑走:输入 $0.042/百万 token,输出免费。原因很简单------决策任务的输出本来就极短,按输出计费在商业上讲不通。

三、架构怎么切:三层

我的结论是,Agent 应该显式分成三层:

```

┌──────────────────────────────────────┐

│ 表达层 通用大模型 → 写内容 / 写代码 │

├──────────────────────────────────────┤

│ 判断层 决策模型 → 分类 / 路由 / 打分 │ ← 新增

├──────────────────────────────────────┤

│ 执行层 普通代码 → 分支 / 状态机 │

└──────────────────────────────────────┘

```

判断层的准入条件只有一个:答案能不能提前枚举。

  • 能枚举 → 决策模型(快、便宜、结构稳)
  • 不能枚举 → 大模型(比如"帮我写段产品文案")

成本模型要跟着改

不要再按"每百万 token 单价"比价,用单位任务成本:

```

单位任务成本 = 单价 × 平均调用轮次 × 成功率修正

```

举个例子:模型 A 单价便宜 50%,但要 3 轮调用才能做对;模型 B 单价高一些,一轮做对。算总账,B 更省。 决策模型的价值恰恰在于把"轮次"和"失败重试"这两项压到接近 0。

四、什么时候不该用

这是我最想强调的部分。决策模型不是万能药:

  • 答案列不出来 → 用大模型。硬凑选项只会让准确率崩掉;
  • 调用量很小 → 直接写 if/else 或调大模型更划算,不值得为它引入一套新依赖;
  • 需要长链推理 → 决策模型只做"一次判断",不解决"多步规划";
  • 需要保证判断正确 → 它保证的是结构正确 ,不是答案正确。置信度是参考,不是保证。

五、国内落地的现实路径

必须说清楚:Jev 没有对中国大陆开放,权重不开源,只能在它的 API 上调。 对数据不能出网的团队,这条路直接堵死。

现实做法是开源复现 + 本地部署 :用开源权重(如 Cloudflare 10-01 发布的 Clef/Clef-flash,Apache 2.0,且完全兼容 Jev 的 API 格式)在自己机房起一个决策服务,业务系统 HTTP 调用。值得一提的是,Cloudflare 直接抄了 Jev 的请求格式------这反而让 Jev 的接口成了这个品类的事实标准,切换成本因此变得很低。

六、一份落地自检

动手前,拿系统过五个问题:

  1. 这些判断能不能提前枚举所有答案?

  2. 一天发生多少次?(上万次才值得)

  3. 对延迟敏感吗?

  4. 现在的做法是不是"规则维护不动"或"大模型太贵太慢"?

  5. 数据能不能出网?

答对三个,就值得花半天做个验证:拿真实的 20--30 个任务,跑一遍完成率和总消耗,比看任何榜单都可靠。

三句话

判断不是写作,而是选择。

多轮试错的便宜,才是真的贵。

省钱的从来不是换个更便宜的模型,而是把对的任务交给对的那一层。

写在最后

大模型负责表达,决策模型负责判断------把作家从收发室的岗位上撤下来。

省钱的从来不是换个更便宜的模型,而是把对的任务交给对的那一层。

*这是《AI 成本账》系列第 4 篇。下一篇拆"Agent 的失败重试到底吃掉了多少预算",关注不迷路。*

*数据来源:TypeSafe Jev 官方发布(2026-09-15);Cloudflare Clef 发布(2026-10-01,Apache 2.0);葡萄城技术团队分析(博客园);Flavio Copes / Steve Kinney 技术解读;DataCamp、innFactory 第三方评述。所有性能与价格数字均为厂商自报口径,尚无大规模第三方独立复现。*

相关推荐
武子康1 小时前
MultiNet7 每轮都 clean,ESP32-P4 内存为什么还在掉?
人工智能·后端·agent
zhangfeng11331 小时前
6篇RAG核心论文的工程启示:Vector + Graph + Agent路由混合架构实战
人工智能·架构·llm·agent
缓慢更新1 小时前
AI 辅助生成单测:从接口定义到用例的流水线
java·服务器·前端·网络·数据库·人工智能
AI小百科1 小时前
向量数据库:AI 的「记忆仓库」是怎么工作的
数据库·人工智能·oracle
热文新讯1 小时前
迎进博·话疗愈:2026酒店“疗愈睡眠”闭门研讨会在沪举行
大数据·人工智能·物联网
超级架构师2 小时前
PRAXO-CORE 2.5.0:用 conformance 和显式边界构建 Go Agent 框架
开发语言·人工智能·后端·golang·ai编程·智能体框架·praxo-core
叼烟扛炮2 小时前
Linux 学习笔记(四十三):网络编程进阶——自定义协议解决 TCP 粘包与守护进程
linux·开发语言·网络·笔记·tcp/ip
老金带你玩AI2 小时前
ChatGPT 12月合并额度:以后提问还得先打草稿?
人工智能
久曲健的测试窝2 小时前
2026软件测试工具选型指南:双模式如何化解UI脚本维护难题
运维·人工智能·科技·aigc
CQU_JIAKE3 小时前
10.30【大模型】
人工智能