| 项目名称 | 核心特点 / 性能亮点 | 适用场景 | 开源协议 (License) |
|---|---|---|---|
| LiteLLM | 最流行的轻量级网关 ，支持100+ LLM提供商，提供统一OpenAI API格式--16。 | 团队内统一管理模型调用、快速落地模型聚合服务 | MIT |
| Portkey AI Gateway | 高性能与综合能力强 ，支持200+模型，提供防护栏、RBAC等企业级安全和治理功能--5。 | 对安全、合规、成本控制有较高要求的生产环境 | MIT |
| Helicone AI Gateway | 极致性能 ，使用Rust编写，P95延迟低于10ms，内存占用低，号称"LLM界的NGINX"-4。 | 对延迟和资源消耗极度敏感的高频调用场景 | MIT |
| Higress | 云原生企业级，基于Istio和Envoy，提供Wasm插件扩展，支持多模型代理与Fallback--。 | 已在Kubernetes环境使用Istio/Envoy技术栈的团队，需要AI原生扩展 | Apache 2.0 |
| Kong AI Gateway | 老牌网关AI增强 ，作为Kong Gateway的插件提供，与现有API生态无缝集成--29。 | 已经在使用Kong作为API网关，希望复用现有架构的用户 | Apache 2.0 |
| Shepherd Model Gateway | 面向云/本地模型 ，用Rust编写，支持缓存感知路由、高可用网状网络等高级功能-6。 | 大规模自建/混合模型集群的高性能、高可用编排 | MIT |
| Cloudflare AI Gateway | 边缘路由与集成，利用Cloudflare全球网络，提供统一API和多提供商访问-。 | 希望利用边缘网络优势，或已使用Cloudflare生态的用户 | 非开源 (托管服务) |
AI 网关你了解多少
HehuaTang2026-06-04 21:33