系列《AI 应用生产化手册》第 16 篇(共 30 篇)|配套开源项目:github.com/ChenYingbo/... 本篇是模块四(成本与网关)第 3 篇 :C01 把账算清、C02 把重复的钱省掉,C03 开始动最大的一块------该用便宜模型的别用贵的
一、先看问题:所有问题都花一样的钱
C01 算出了每请求 0.000461 元,C02 让重复问题不再花钱。但账上还剩一个大头没动:
- "1 加 1 等于几"和"设计一个多智能体架构"花一样的钱------所有请求都喂给最强最贵的模型。
- 想省钱又怕降质------知道该用便宜模型,但"哪些问题可以安全交给它"没依据。
- 路由基本靠拍脑袋------"简单问题走便宜模型"听起来对,可什么叫简单?规则怎么定?
解法:动态路由------按问题复杂度把请求分到不同模型,再用评测集验证"便宜模型能安全接管哪些问题"。
核心认知:路由的本质是"成本 × 质量"的取舍,而取舍的依据不是感觉,是评测。先测出便宜模型的"接管清单",再写路由规则------路由和评测是一套闭环。
二、原理:三种判据,先从最土的开始
2.1 判据对比
| 判据 | 实现成本 | 准确度 | 适用 |
|---|---|---|---|
| 规则/关键词(本篇) | 低 | 中(会误判) | 快速起步、判据透明可解释 |
| 分类器(小模型打分) | 中 | 较高 | 规则覆盖不了的长尾 |
| LLM 打分 | 高(每次路由一次调用) | 最高 | 复杂场景(注意路由本身有成本) |
演进路径:规则起步 → 评测发现问题 → 升级判据。 别一上来就 LLM 打分------路由自己的成本可能直接把省下的钱吃掉。
2.2 本 demo 的规则(可解释性优先)
css
复杂度分 = 长度分(0/20/40/60)+ 硬关键词分(命中 +40)- 问候语分(命中 -30)
≥ 50 → chat-strong(强模型)
< 50 → chat-cheap(便宜模型)
硬关键词是"代码 / 写一段 / 实现 / 怎么 / 如何 / 为什么 / 区别 / 对比 / 架构 / 部署 / 安全 / 评测 / 缓存 / 网关 / 降级 / 灰度 / A/B / 成本 / 模型选型 / 性能 / 调试 / 事务 / 锁"这一类,命中一个就 +40。
规则必须可解释------出问题要能说清"为什么这个请求走了便宜模型"(日志里带命中的规则),黑盒路由根本没法排查。
2.3 成本 × 质量权衡矩阵
markdown
便宜模型通过率
高 ────────────── 低
高 │ 🟢 必须强模型 │ 🔴 强模型可能也不行
强模型 │ (贵但必要) │ (查根因,不是模型的问题)
价格 │ │
低 │ 🟡 路由目标区 │ 🟠 便宜模型不可靠
│ (便宜且质量达标) │ (不能路由过去)
操作四步(这就是"接管清单"实验):
-
用 E 模块评测集分别跑 chat-strong 和 chat-cheap
-
找出"两个模型通过率都高"的问题类别 → 这些可以安全路由给便宜模型
-
把清单反映到路由规则里(加/减关键词)
-
上线后监控
route_decision分布 + 线上评测,持续校准节省 = 便宜模型承接的请求占比 × 两模型价差
收益取决于"敢不敢把多少流量交给便宜模型",而"敢"由评测决定。
2.4 误判的代价,方向必须选对
| 坑 | 后果 | 缓解 |
|---|---|---|
| 误判到便宜模型 | 复杂问题答错 | 规则保守 + 评测验证 + 兜底(失败升级强模型重试) |
| 误判到强模型 | 多花钱(安全方向) | 浪费但不致命,可接受 |
| 命中率不监控 | 规则漂移没人发现 | route_decision 日志 + O 模块统计 |
| 路由本身有成本 | LLM 打分路由可能倒亏 | 规则优先,打分只给长尾 |
设计原则:误判要"朝贵的方向偏"。 把复杂问题误判成简单(省钱方向)代价高;把简单问题误判成复杂(多花钱)代价低。
三、动手:跑出真实分布
3.1 单条看规则怎么命中
python
from app.routing import complexity_score, route_model
for q in ['你好', '什么是 RAG?', '写一段 Python 代码实现数据库连接池', '怎么设计一个多智能体架构']:
s, rules = complexity_score(q)
print(f'{q} score={s} rules={rules} -> {route_model(q)}')
真实输出:
ini
你好 score=0 rules=['greeting'] -> chat-cheap
什么是 RAG? score=0 rules=[] -> chat-cheap
写一段 Python 代码实现数据库连接池 score=60 rules=['len:11-30','hard:代码,写一段,实现'] -> chat-strong
怎么设计一个多智能体架构 score=60 rules=['len:11-30','hard:怎么,架构'] -> chat-strong
一眼能看懂为什么走哪个模型------这就是"可解释"的价值。
3.2 30 问评测集的路由分布(真实输出)
bash
python -c "
from app.routing import route_model
import json
from collections import Counter
qs = json.load(open('eval/e02_eval_set.json', encoding='utf-8'))
print(dict(Counter(route_model(q['question']) for q in qs)))"
bash
{'chat-cheap': 16, 'chat-strong': 14} # 共 30 个问题
16 / 30 走便宜模型,53% 的流量有机会降本。 注意措辞:是"有机会",不是"已经省了"------省没省,看下面这一步。
3.3 抓一个误判(本篇最值钱的部分)
跑分布的时候留意这条:
ini
大模型的 temperature 参数调大会有什么影响 score=20 rules=['len:11-30'] -> chat-cheap
27 个字、语义上是个中等偏难的概念问题,但规则只看到"长度 20 分、没有硬关键词",于是判给了便宜模型。
这就是规则路由的必然误判。 正确的应对不是"加关键词加到完美"(永远加不完),而是:
- 用评测集验证这类问题便宜模型到底能不能答对
- 能答对 → 保留这条规则,省下的钱是真赚的
- 答不对 → 补规则(比如把"参数/影响/调大"加入硬关键词)或干脆让这类走强模型
3.4 单元验证
bash
pytest tests/test_routing.py -q
# 7 passed in 0.01s
7 个用例覆盖:问候语走便宜 / 简短简单问走便宜 / 写代码走强 / 硬技术词走强 / 长问题走强 / 分数范围与确定性 / 复杂度越高分越高。
四、真实踩坑
- 路由不验证就上线------规则拍脑袋、没跑评测,便宜模型答错的锅最后路由背
- 误判方向反了------为了省钱把复杂问题判成简单,一次答错亏掉省下的所有成本
- 规则不可解释 ------没有
route_decision日志(命中了哪条规则),出问题只能靠猜 - 命中率不监控------规则改着改着全走强模型,等于路由白做;O 模块必须统计分布
- 路由成本倒挂------LLM 打分路由每次调用都在花钱,只该用在长尾
- 忘了和缓存/灰度联动------路由换 model → 缓存 key 变了(本 demo 天然隔离);灰度变体 + 路由同时生效的组合要专门测
五、本篇收获
- 能对比三种路由判据(规则 / 分类器 / LLM 打分)和演进顺序
- 能画出成本 × 质量矩阵,说清"接管清单"怎么测出来
- 能解释"误判朝贵的方向偏"这条设计原则
-
pytest tests/test_routing.py7/7 通过 - 跑通 30 问路由分布(16 便宜 / 14 强),并能自己抓出一条误判
- 能设计接管清单实验(同一评测集、双模型对比通过率)
下一篇(C04):进模块四第 4 篇《AI 网关实战》------LiteLLM 统一接入、Key 池、fallback 与成本追踪,把路由和降级从应用代码挪到网关层。 收藏 + 关注,每天一篇,30 天把 AI 应用送上生产。