如何设计实现一个 LLM Gateway ？当你的系统只调用一个模型、一个 Provider 的时候，一切看起来都很简单——拼好 Prompt，发个 HTTP 请求，拿到结果。但当业务做大以后，你会发现自己同时在用 GPT-4o 处理复杂推理、用 Claude 做长文档分析、用开源模型跑一些对延迟敏感的轻量任务，还可能在不同云厂商之间部署了多个推理实例。每个调用方都在各自的代码里硬编码模型名称和 API Key，散落在几十个微服务中。某天 OpenAI 突然限流了，整条链路直接挂掉，排查半天才发现是某个服务没做降级。