如果明天供应商涨价 3 倍?三层解耦,换模型只改一行配置(C05)

系列《AI 应用生产化手册》第 18 篇(共 30 篇)|配套开源项目:github.com/ChenYingbo/... 本篇是模块四(成本与网关)收官:成本模型 → 缓存 → 路由 → 网关 → 厂商可移植,五件套齐了

一、先看问题:三个"如果"

C04 把网关立起来了,但架构上还留着三个没答案的问题:

  1. "明天 DeepSeek 涨价 3 倍,你怎么办?" ------ 答不上来就是被单一供应商卡住脖子。
  2. "换供应商要改多少代码?" ------ 如果模型串散落在业务代码里,这是一场灾难。
  3. "多模型 ≠ 随便换" ------ 切过去质量掉没掉,谁说了算?

解法:多模型架构 + 厂商可移植性。应用只认逻辑名,供应商映射全部收进网关配置;换供应商 = 改配置 + 跑评测回归。

核心认知:厂商锁定不是技术问题,是架构问题。真正的"供应商无关"只有一条验收标准------业务代码里搜不到任何供应商的名字。多模型不是"多配一把钥匙",是"随时能换锁的体系"。

二、原理

2.1 多模型策略的三重价值

价值 说明
降本 多供应商比价、按需路由(C03 的便宜档可以来自不同家)
容灾 一家挂了或限流,另一家顶上(R04 降级链的供应商级实现)
谈判筹码 不依赖单一供应商,价格话语权在自己手里

第三条最容易被忽略,但它是真金白银------能换,才谈得上议价。

2.2 三层解耦(本系列的核心架构主张)

css 复制代码
应用层:只出现逻辑名(chat-strong / chat-cheap)      ← 零供应商痕迹
   ↓
网关层:逻辑名 → 供应商模型(litellm_config.yaml)     ← 供应商只出现在这一层
   ↓
供应商:DeepSeek / OpenAI / ...

三条可自动化的验收标准:

  1. vendor_switch.py check:应用引用的逻辑名,网关里全都存在
  2. vendor_switch.py check --scan-app app/:应用代码零供应商硬编码
  3. vendor_switch.py simulate:切换演练只涉及网关配置,应用零改动

第 2 条是这套架构唯一没有"解释空间"的指标------0 处就是 0 处。

2.3 三个"如果"的推演

css 复制代码
场景 A:主力供应商涨价
  → 改网关配置:chat-strong 指向另一家同档模型
  → 跑评测回归:不达标就换下一家(或接受降档)
  → 应用零改动

场景 B:供应商下线 / 断供
  → 网关 fallback 自动切备用(C04 的 chat-cheap 顶上)
  → 应用侧还有 R04 降级链兜底
  → 从容迁移,不用救火

场景 C:新增一家更便宜的
  → 网关加一个 model 条目(chat-strong-alt 已演示)
  → 评测跑通后灰度放量(R02)→ A/B 对比(R03)

推演的结论值得记住:每一个"如果",都对应一个早就建好的模块(网关 / 降级 / 评测 / 灰度)------这就是体系的价值,不是临时救火。

2.4 切换的质量门槛(最重要的纪律)

换供应商 ≠ 只改配置。 必须走完整链路:

css 复制代码
① 网关切模型(改配置)
② 用黄金集跑评测(run_evals)
③ 通过率 ≥ 阈值(基线 + 容差,E04 门禁)
④ 灰度放量(R02)→ A/B(R03)→ 全量

没有评测的切换,等于拿线上用户当测试集。 新模型再强,"在你这套提示词 + 你的业务场景下强不强",只有评测知道。

三、动手:三条命令验证"可移植性"

3.1 当前映射

bash 复制代码
cd demo && source .venv/bin/activate
python scripts/vendor_switch.py mapping

真实输出:

bash 复制代码
  chat-cheap → deepseek/deepseek-chat
  chat-strong → deepseek/deepseek-chat
  chat-strong-alt → openai/gpt-4o

这里顺带一个真实细节:仓库文档里早期写的是 chat-cheap → openai/gpt-4o-mini,而配置后来改成了 DeepSeek(为了用一个 Key 跑通全链路)。文档会漂移,配置是唯一事实来源------所以这三条命令要进 CI,而不是靠人记。

3.2 一致性 + 硬编码扫描

bash 复制代码
python scripts/vendor_switch.py check --scan-app app/

真实输出:

objectivec 复制代码
应用引用的逻辑名: chat-cheap, chat-strong
网关暴露的模型  : chat-cheap, chat-strong, chat-strong-alt
一致性 ✓ 应用与网关模型名对齐(供应商无关)
供应商硬编码扫描 app/: 0 处 ✓(供应商只在网关配置里)

"0 处"这句是本篇唯一需要记住的数字。 它证明业务代码里没有任何 deepseek/...、openai/... 这样的串------换供应商时不用 grep 一遍代码。

3.3 切换演练

bash 复制代码
python scripts/vendor_switch.py simulate --from-provider deepseek --to-model openai/gpt-4o

真实输出:

bash 复制代码
演练:deepseek → openai/gpt-4o
  chat-cheap: deepseek/deepseek-chat → openai/gpt-4o
  chat-strong: deepseek/deepseek-chat → openai/gpt-4o
影响: 应用零改动(只认逻辑名)

注意它把两个逻辑名一起改了------因为当前 chat-cheap 和 chat-strong 都指向 DeepSeek。这正是一次性迁移的真实形态:换供应商时,你改的是"映射表",不是"一堆调用点"。

3.4 真实切换(有 Key + 网关运行中)

bash 复制代码
cp gateway/litellm_config.yaml gateway/litellm_config.yaml.bak   # 先备份,回滚用
# 改 chat-strong 的 litellm_params.model
docker compose restart litellm
python scripts/gateway_check.py        # 确认配置加载
python evals/run_evals.py              # 评测回归:通过率对比切换前

通过 → 灰度放量;不通过 → 恢复 .bak 重启,回到原供应商。

3.5 单元验证

bash 复制代码
pytest tests/test_vendor_switch.py -q
# 6 passed in 0.09s

覆盖 6 项:真实配置的映射读取、应用与网关一致性、缺失模型能检出、应用零硬编码扫描、切换模拟、未知供应商不改动。

四、真实踩坑

  1. 模型串硬编码进业务代码 ------model="deepseek/deepseek-chat" 散落各处,换供应商=重构;扫描工具必须进 CI
  2. 只有一个供应商------没有备用、没有 alt 条目,"唯一的供应商"就是最大的单点
  3. 切换不跑评测------改配置直接上,用户先发现质量掉了
  4. 把 SDK 当锁定------导入 OpenAI SDK 不算锁定(它是事实标准 API);真正的锁定是"供应商模型名 / 端点出现在业务代码里"
  5. 多模型但没监控------不知道流量在各家怎么分布,也就不知道谈判筹码有多大
  6. 换完没有回滚预案------新供应商出问题手忙脚乱;旧配置备份 + 降级链必须待命

五、模块四小结(成本与网关 5 篇收官)

篇 解决的问题 核心交付
C01 花了多少钱不知道 成本模型 + 每请求成本 + 预算告警
C02 同样的钱花了很多遍 精确缓存 + key 三要素 + 命中率统计
C03 简单问题也喂贵模型 规则路由 + 接管清单实验
C04 供应商写死在应用里 LiteLLM 网关 + 虚拟 Key + 成本落库
C05 被单一供应商卡脖子 三层解耦 + 零硬编码 + 切换演练

一条主线:把"花多少钱"从月底账单,变成可以实时看、可以主动降、可以随时换的工程指标。

下一篇(S01):进入模块五《安全护栏》,第一篇《威胁模型》------AI 应用到底暴露了哪些攻击面,OWASP Top 10 for LLM 怎么落到你的架构图上。 收藏 + 关注,每天一篇,30 天把 AI 应用送上生产。

相关推荐
在所不辞兄1 小时前
为什么数字孪生驱动的产线标定需要在线更新机制,而不能一次标定后长期沿用?
人工智能·神经网络·其他·算法·机器学习
锋行天下2 小时前
langgraph 全栈项目(三)
前端·人工智能·后端
黄啊码2 小时前
【黄啊码】最近面了十几个想转 FDE 的程序员,一个都没招
人工智能
锋行天下2 小时前
langgraph 全栈项目(二)
前端·人工智能·后端
七夜zippoe2 小时前
Agent 告警设计:分级告警、智能降噪与值班排班
开发语言·ai·agent·告警·智能降噪·值班排班
大模型真好玩2 小时前
用 Seedance 2.5 Flash 实现1分钟AI短剧,满足孩子的超级英雄对战梦
人工智能·aigc·deepseek
FengY_HYY3 小时前
从人类组织到人类&大模型组织,我的位置在哪里?
人工智能·程序员·llm
Flynn Liang3 小时前
大模型成本优化:基于 Redis 的可验证语义缓存架构
人工智能·redis·缓存·架构·ai agent·智能体
锋行天下3 小时前
langgraph全栈项目(一)
前端·人工智能·后端