所有问题都喂最贵的模型?规则路由实测:30 个问题里 16 个能交给便宜模型(C03)

系列《AI 应用生产化手册》第 16 篇(共 30 篇)|配套开源项目:github.com/ChenYingbo/... 本篇是模块四(成本与网关)第 3 篇 :C01 把账算清、C02 把重复的钱省掉,C03 开始动最大的一块------该用便宜模型的别用贵的

一、先看问题:所有问题都花一样的钱

C01 算出了每请求 0.000461 元,C02 让重复问题不再花钱。但账上还剩一个大头没动:

  1. "1 加 1 等于几"和"设计一个多智能体架构"花一样的钱------所有请求都喂给最强最贵的模型。
  2. 想省钱又怕降质------知道该用便宜模型,但"哪些问题可以安全交给它"没依据。
  3. 路由基本靠拍脑袋------"简单问题走便宜模型"听起来对,可什么叫简单?规则怎么定?

解法:动态路由------按问题复杂度把请求分到不同模型,再用评测集验证"便宜模型能安全接管哪些问题"。

核心认知:路由的本质是"成本 × 质量"的取舍,而取舍的依据不是感觉,是评测。先测出便宜模型的"接管清单",再写路由规则------路由和评测是一套闭环。

二、原理:三种判据,先从最土的开始

2.1 判据对比

判据 实现成本 准确度 适用
规则/关键词(本篇) 低 中(会误判) 快速起步、判据透明可解释
分类器(小模型打分) 中 较高 规则覆盖不了的长尾
LLM 打分 高(每次路由一次调用) 最高 复杂场景(注意路由本身有成本)

演进路径:规则起步 → 评测发现问题 → 升级判据。 别一上来就 LLM 打分------路由自己的成本可能直接把省下的钱吃掉。

2.2 本 demo 的规则(可解释性优先)

css 复制代码
复杂度分 = 长度分(0/20/40/60)+ 硬关键词分(命中 +40)- 问候语分(命中 -30)

  ≥ 50 → chat-strong(强模型)
  < 50 → chat-cheap(便宜模型)

硬关键词是"代码 / 写一段 / 实现 / 怎么 / 如何 / 为什么 / 区别 / 对比 / 架构 / 部署 / 安全 / 评测 / 缓存 / 网关 / 降级 / 灰度 / A/B / 成本 / 模型选型 / 性能 / 调试 / 事务 / 锁"这一类,命中一个就 +40。

规则必须可解释------出问题要能说清"为什么这个请求走了便宜模型"(日志里带命中的规则),黑盒路由根本没法排查。

2.3 成本 × 质量权衡矩阵

markdown 复制代码
                 便宜模型通过率
                 高 ────────────── 低
       高 │    🟢 必须强模型      │  🔴 强模型可能也不行
 强模型   │    (贵但必要)       │  (查根因,不是模型的问题)
   价格   │                      │
       低 │    🟡 路由目标区      │  🟠 便宜模型不可靠
          │  (便宜且质量达标)   │  (不能路由过去)

操作四步(这就是"接管清单"实验):

  1. 用 E 模块评测集分别跑 chat-strong 和 chat-cheap

  2. 找出"两个模型通过率都高"的问题类别 → 这些可以安全路由给便宜模型

  3. 把清单反映到路由规则里(加/减关键词)

  4. 上线后监控 route_decision 分布 + 线上评测,持续校准

    节省 = 便宜模型承接的请求占比 × 两模型价差

收益取决于"敢不敢把多少流量交给便宜模型",而"敢"由评测决定。

2.4 误判的代价,方向必须选对

坑 后果 缓解
误判到便宜模型 复杂问题答错 规则保守 + 评测验证 + 兜底(失败升级强模型重试)
误判到强模型 多花钱(安全方向) 浪费但不致命,可接受
命中率不监控 规则漂移没人发现 route_decision 日志 + O 模块统计
路由本身有成本 LLM 打分路由可能倒亏 规则优先,打分只给长尾

设计原则:误判要"朝贵的方向偏"。 把复杂问题误判成简单(省钱方向)代价高;把简单问题误判成复杂(多花钱)代价低。

三、动手:跑出真实分布

3.1 单条看规则怎么命中

python 复制代码
from app.routing import complexity_score, route_model
for q in ['你好', '什么是 RAG?', '写一段 Python 代码实现数据库连接池', '怎么设计一个多智能体架构']:
    s, rules = complexity_score(q)
    print(f'{q} score={s} rules={rules} -> {route_model(q)}')

真实输出:

ini 复制代码
你好                              score=0  rules=['greeting']                   -> chat-cheap
什么是 RAG?                      score=0  rules=[]                           -> chat-cheap
写一段 Python 代码实现数据库连接池   score=60 rules=['len:11-30','hard:代码,写一段,实现'] -> chat-strong
怎么设计一个多智能体架构            score=60 rules=['len:11-30','hard:怎么,架构']    -> chat-strong

一眼能看懂为什么走哪个模型------这就是"可解释"的价值。

3.2 30 问评测集的路由分布(真实输出)

bash 复制代码
python -c "
from app.routing import route_model
import json
from collections import Counter
qs = json.load(open('eval/e02_eval_set.json', encoding='utf-8'))
print(dict(Counter(route_model(q['question']) for q in qs)))"
bash 复制代码
{'chat-cheap': 16, 'chat-strong': 14}   # 共 30 个问题

16 / 30 走便宜模型,53% 的流量有机会降本。 注意措辞:是"有机会",不是"已经省了"------省没省,看下面这一步。

3.3 抓一个误判(本篇最值钱的部分)

跑分布的时候留意这条:

ini 复制代码
大模型的 temperature 参数调大会有什么影响   score=20  rules=['len:11-30']  -> chat-cheap

27 个字、语义上是个中等偏难的概念问题,但规则只看到"长度 20 分、没有硬关键词",于是判给了便宜模型。

这就是规则路由的必然误判。 正确的应对不是"加关键词加到完美"(永远加不完),而是:

  1. 用评测集验证这类问题便宜模型到底能不能答对
  2. 能答对 → 保留这条规则,省下的钱是真赚的
  3. 答不对 → 补规则(比如把"参数/影响/调大"加入硬关键词)或干脆让这类走强模型

3.4 单元验证

bash 复制代码
pytest tests/test_routing.py -q
# 7 passed in 0.01s

7 个用例覆盖:问候语走便宜 / 简短简单问走便宜 / 写代码走强 / 硬技术词走强 / 长问题走强 / 分数范围与确定性 / 复杂度越高分越高。

四、真实踩坑

  1. 路由不验证就上线------规则拍脑袋、没跑评测,便宜模型答错的锅最后路由背
  2. 误判方向反了------为了省钱把复杂问题判成简单,一次答错亏掉省下的所有成本
  3. 规则不可解释 ------没有 route_decision 日志(命中了哪条规则),出问题只能靠猜
  4. 命中率不监控------规则改着改着全走强模型,等于路由白做;O 模块必须统计分布
  5. 路由成本倒挂------LLM 打分路由每次调用都在花钱,只该用在长尾
  6. 忘了和缓存/灰度联动------路由换 model → 缓存 key 变了(本 demo 天然隔离);灰度变体 + 路由同时生效的组合要专门测

五、本篇收获

  • 能对比三种路由判据(规则 / 分类器 / LLM 打分)和演进顺序
  • 能画出成本 × 质量矩阵,说清"接管清单"怎么测出来
  • 能解释"误判朝贵的方向偏"这条设计原则
  • pytest tests/test_routing.py 7/7 通过
  • 跑通 30 问路由分布(16 便宜 / 14 强),并能自己抓出一条误判
  • 能设计接管清单实验(同一评测集、双模型对比通过率)

下一篇(C04):进模块四第 4 篇《AI 网关实战》------LiteLLM 统一接入、Key 池、fallback 与成本追踪,把路由和降级从应用代码挪到网关层。 收藏 + 关注,每天一篇,30 天把 AI 应用送上生产。

相关推荐
小码哥0685 分钟前
AI+能源管理系统如何用于工厂?云捷EMS能源管理系统功能与界面详解
人工智能·能源·能源管理系统·能耗监测·能源管理系统源码·企业能源管理系统·ai+能源管理系统
墨林陌6 分钟前
AI 热点日报(2026-11-19):Anthropic 全球史上最大 IPO 上市,谷歌发布 Gemini 4 Neon
人工智能
用户951794225102910 分钟前
Agent Harness 工程(I5):权限与沙箱——让否决改变控制流
llm·agent
阿里云大数据AI技术23 分钟前
把可观测做成基础设施:阿里云 Elasticsearch 监控链路的一次彻底重构
人工智能
TDengine (老段)1 小时前
TDengine IDMP 预测、异常检测与数据插补
大数据·数据库·人工智能·时序数据库·tdengine·涛思数据·idmp
甲维斯2 小时前
GPT6.2“买家秀”来了,吼吼呵呵!
人工智能
艾莉丝努力练剑2 小时前
【AI大模型接入SDK】C++的SessionManager 线程安全
java·开发语言·前端·c++·人工智能·学习·安全
螺丝钉tina3 小时前
[Playwright] [20][AI] 失败分析:让AI大模型帮你debug
人工智能
MSTcheng.4 小时前
【AI应用实战】用 FastAPI + SSE 做一个自己的 AI 聊天网页:流式输出、多轮对话与完整源码
人工智能·python·大模型·fastapi·sse·ai聊天助手
世冠科技4 小时前
世冠科技GCEAgent重磅发布,开启复杂装备AI原生智能研发新范式
人工智能·科技·ai-native