大模型工程化实战(五):LLM 网关到底怎么选 - 2026 自研 / LiteLLM/Portkey/Kong/One API 全面对比registry 上线第二周,转人工率又爬回来了。这次不是回滚错版本——是回滚了也没用:值班同学把版本指针切回旧版,等了十分钟,曲线没下来。查日志才看清:线上压根没人按版本 ID 路由——三个服务直连 LLM API,各自写各自的重试,key 散在三个环境变量里,只有一处接了 registry 的 get()。这篇是 LLM 网关选型,但我先不摆参数,只回答一个问题:什么规模,选什么网关,才能让“按版本 ID 路由 Prompt”落地。答案先放这儿:registry 管的是资产,网关管的是路由,这层决策必