换供应商要改一遍代码?把模型接入收进一层网关(C04)

系列《AI 应用生产化手册》第 17 篇(共 30 篇)|配套开源项目:github.com/ChenYingbo/... 本篇是模块四(成本与网关)第 4 篇:C01 算钱、C02 省钱、C03 分流,C04 把这三件事从业务代码里挪出来

一、先看问题:优化做了,痛点还在

C01--C03 都在应用侧做文章,但你会陆续撞上三堵墙:

  1. 应用直连供应商 = 换供应商要改代码------从 DeepSeek 换到 OpenAI,每个调用点都得动一遍,还容易漏。
  2. Key 散落各处------每个服务一把供应商 Key。泄露了你不知道是谁泄的,也没法只吊销那一个。
  3. fallback / 限流 / 成本统计每个应用各写一套------重复造轮子,而且每套实现都不一样,对账根本对不上。

解法:AI 网关。在应用和供应商之间加一层,统一模型名、集中管 Key、统一做 fallback 和限流、把成本落到库里。

核心认知:网关是"供应商无关"的第一层实现,也是 Key 安全和成本追踪的集中点。应用只认逻辑模型名(chat-strong / chat-cheap),供应商怎么变都不动业务代码。

二、原理

2.1 网关站在哪

vbnet 复制代码
应用(只认逻辑名 chat-strong / chat-cheap)
        │
        ▼
   AI 网关(LiteLLM)
   ├── 模型路由:逻辑名 → 真实供应商模型
   ├── Key 池:虚拟 Key 管理 / 按 Key 限流 / 单独吊销
   ├── fallback:主力失败自动切备用
   ├── 限流:rpm/tpm/并发上限
   └── 成本追踪:spend 落库
        │
        ▼
   供应商(DeepSeek / OpenAI / ...)

2.2 应用内直连 vs 网关

应用内直连 网关
换供应商 改代码 改配置(C05 可移植性的基础)
Key 管理 各应用一把 集中虚拟 Key,可单独吊销
fallback / 限流 每个应用各写一遍 网关统一
成本统计 各自打日志自己算 网关 spend 落库

2.3 五能力对照(本 demo 真实配置)

能力 配置项 验证方式
统一模型名 model_list(chat-strong → deepseek/deepseek-chat) [2/4] /v1/models
虚拟 Key general_settings.master_key + PostgreSQL [3/4] /key/generate + /key/delete
fallback litellm_params.fallbacks: ["chat-cheap"] 配置层(真实触发需 API Key)
限流 router_settings.max_parallel_requests: 10 配置层
成本追踪 general_settings.database_url(PostgreSQL) [4/4] /spend/logs

2.4 网关怎么选

网关 定位 优势 短板
LiteLLM(本篇) 开源自托管代理 OpenAI 兼容、100+ 供应商、fallback/Key/成本内建 界面弱(以 API 为主)
Portkey 托管网关 UI 友好、A/B 内建 托管费用
Helicone 观测为主 成本/延迟分析强 路由/fallback 弱

选型逻辑:开源自托管先把原理学明白(LiteLLM),团队大了再评估托管。网关不是越强越好,是"够用 + 可控"。

2.5 一个硬约束:必须 PostgreSQL

第一版我图省事把 database_url 配成了 SQLite,网关直接不启动:

rust 复制代码
LiteLLM Proxy: DATABASE_URL uses unsupported scheme 'sqlite'.
LiteLLM's database features (virtual keys, spend tracking) require PostgreSQL.

虚拟 Key 和成本追踪只认 PostgreSQL。 解决方式是复用 compose 里已有的 postgres 容器,单独建一个库(别和 Langfuse 混用):

bash 复制代码
docker compose exec postgres psql -U postgres -c "CREATE DATABASE litellm;"

三、动手

3.1 起网关

bash 复制代码
cd demo
docker compose exec postgres psql -U postgres -c "CREATE DATABASE litellm;"   # 首次
docker compose up -d litellm

3.2 四项验证(真实容器记录)

bash 复制代码
python scripts/gateway_check.py

本项目真实容器验证摘录(2026-11):

csharp 复制代码
[1/4] health: 200 "I'm alive!" → OK
[2/4] models (3): chat-cheap, chat-strong, chat-strong-alt
[3/4] key/generate: OK(虚拟 Key 已生成,随即 key/delete 清理)
[4/4] spend/logs: OK(0 条记录;有真实调用后这里会累计成本)
OK ✓ LiteLLM 网关就绪

四步分别对应四件事,缺一个都不算通:

  1. 健康 ------/health/liveliness 返回的是纯文本 "I'm alive!",不是 JSON(第一次验证就是被这个坑了一下)
  2. 模型加载 ------/v1/models 里必须能看到三个逻辑名,少一个说明 YAML 没加载对
  3. 虚拟 Key ------创建并立刻删除,证明 Key 管理面可用。注意创建出来的 Key 是真实有效的,验证完要删
  4. 成本追踪 ------/spend/logs 能返回(0 条也算通)。有真实调用后这里会涨,此时才谈得上和 C01 的成本模型对账

3.3 虚拟 Key 演练(网关最值钱的能力)

vbnet 复制代码
1. /key/generate 创建一把"测试环境"专用 Key
2. 用它调网关(权限/预算只在这把 Key 上生效)
3. 测试环境泄露 → /key/delete 单独吊销
4. 生产 Key 完全不受影响

对比一下:没有网关时,一把供应商 Key 泄露 = 所有服务一起暴露,你只能全部轮换。有网关 = 每环境一把、可单独吊销、可单独限额。

3.4 配置逐行看(这几行最关键)

yaml 复制代码
model_list:
  - model_name: chat-strong                 # 应用只认这个名字
    litellm_params:
      model: deepseek/deepseek-chat         # 换供应商只改这一行
      api_key: os.environ/DEEPSEEK_API_KEY  # Key 不落配置文件
      fallbacks: ["chat-cheap"]             # 网关层兜底(应用层是 R04 的降级链)

litellm_settings:
  num_retries: 2                            # 瞬时故障自动重试(A01 的网关侧实现)
  request_timeout: 60

router_settings:
  max_parallel_requests: 10                 # 全局并发上限,防打爆上游

general_settings:
  master_key: os.environ/LITELLM_MASTER_KEY
  database_url: "postgresql://.../litellm"  # 没有它,虚拟 Key 和成本追踪都不工作

注意 fallbacks 的落点 :它在 litellm_params 里,不在 litellm_settings 里------两种写法的官方文档都出现过,写错位置不报错,只是不生效,这种坑最难查。

四、真实踩坑

  1. 拿 SQLite 当 database_url------虚拟 Key / 成本追踪只支持 PostgreSQL,直接启动失败(实测报错)
  2. master key 泄露------它是所有虚拟 Key 的父权限,等于通行证;生产必须强随机 + 不进代码库
  3. fallback 配错层 ------写在 litellm_settings 里不报错也不生效,只能靠验证脚本兜
  4. 限流不配 ------没有 max_parallel_requests,流量一突增直接打爆上游,而网关恰恰该在这里挡
  5. 成本追踪空转 ------database_url 没配,/spend/logs 永远 0 条,还以为是没调用
  6. 健康端点想当然 ------/health/liveliness 是纯文本、/spend/logs 某些版本直接返回 list,验证脚本必须两种都兼容

五、本篇收获

  • 能画出网关在生产架构中的位置,说出五能力(路由/Key/fallback/限流/成本)
  • 能对比"应用内直连"和"网关"的取舍
  • 能对比 LiteLLM / Portkey / Helicone 三家选型
  • gateway_check.py 4/4 通过(真实容器验证)
  • 完成虚拟 Key 演练:创建 → 使用 → 单独吊销
  • 记住 SQLite 不支持这条硬约束

下一篇(C05):模块四收官《多模型架构与厂商锁定》------"如果明天供应商涨价或者下线",架构怎么扛(含供应商切换实操)。 收藏 + 关注,每天一篇,30 天把 AI 应用送上生产。

相关推荐
孟健1 小时前
开源AutoClip切直播:1小时48分出19段,整月API只花0.08元
人工智能·开源·aigc
翰墨之道1 小时前
AI日报:豆包工作ARR超20亿,GPT-6.2跑分与实测割裂
人工智能·gpt·数据挖掘
Maynor9961 小时前
Trymodel 使用介绍:一个平台同时用 Claude、GPT、Gemini 和 Grok
人工智能·gpt·ai·程序员·教程·claude·语音
七夜zippoe1 小时前
多 Agent 通信灾难:状态不一致导致雪崩故障的排查与防护
ai·agent·通信灾难·雪崩故障·排查与防护
字节跳动视频云技术团队2 小时前
接大模型别再自己配 Key、搭代理了,火山引擎 IGA Pages 一步搞定
人工智能
谙弆悕博士2 小时前
多智能体架构详解:层级树状架构(分级主从型)
运维·架构·大模型·agent·多智能体·langgraph·层级树状
阿里云大数据AI技术3 小时前
EMR Serverless StarRocks 产品介绍:从统一 OLAP 走向多模态分析与检索
人工智能
Forget the Dream3 小时前
Spring AI 2.0 系列(二):第一个 ChatClient——从注入到一次完整调用
java·人工智能·spring boot·ai·springai
学无止境小袁同学3 小时前
Google ADK 学习指南
python·llm·agent·多agent·google adk·llmagent·agent cli