AI模型网关核心解决多模型接口统一、流量路由、容错降本、权限管控四大问题。本文针对Portkey Gateway、One API、New API、LiteLLM四款主流方案做精简对比,直接给出选型结论。
一、四款产品核心速览
1. Portkey Gateway
- 项目地址:https://github.com/Portkey-AI/gateway
- 核心标签:极致性能、海外生态、轻量
- 关键特点:TypeScript 开发,网关额外延迟 <1ms,打包体积仅 122KB;支持 250+ 模型,内置 40+ 内容护栏规则;开源版功能偏基础,企业版提供完整可观测性、合规认证、语义缓存等能力。
2. One API
- 项目地址:https://github.com/songquanpeng/one-api
- 核心标签:国产模型最全、计费分发、易部署
- 关键特点:Go 语言开发,国内生态最成熟;国产大模型适配最全面,自带完整用户体系、令牌额度管理、渠道负载均衡;支持多机部署,适合 API 中转与分发场景。
3. New API
- 定位:One API 社区增强分支
- 核心标签:体验优化、迭代更快、生态兼容
- 关键特点:基于 One API 二次开发,优化了前端 UI 与交互体验,新增更多渠道适配、更灵活的路由策略与计费统计;功能迭代更贴近国内用户需求,完全兼容 One API 生态。
4. LiteLLM
- 项目地址:https://github.com/BerriAI/litellm
- 核心标签:Python 生态、Agent/MCP、云原生
- 关键特点:从 Python 统一 SDK 演进为全功能网关;支持 100+ 模型,深度原生支持 Agent 框架与 MCP 工具协议;自带专业管理后台,提供 Helm、Terraform 等云原生部署方案。
二、核心维度对比
| 对比维度 | Portkey Gateway | One API | New API | LiteLLM |
|---|---|---|---|---|
| 开发语言 | TypeScript | Go | Go | Python + TypeScript |
| 国产模型支持 | 一般 | 极佳 | 极佳 | 一般 |
| 网关额外延迟 | 极低(<1ms) | 低 | 低 | 较低 |
| 额度计费能力 | 开源版薄弱 | 完整体系 | 增强完善 | 基础消费追踪 |
| 用户与权限管理 | 开源版无 | 完整 | 增强优化 | 团队级管理 |
| 内容护栏/合规 | 内置规则丰富 | 薄弱 | 薄弱 | 支持扩展 |
| Agent / MCP 支持 | 基础兼容 | 一般 | 一般 | 深度原生支持 |
| 部署门槛 | 极低 | 极低 | 极低 | 中等 |
| 企业级商业支持 | 成熟 | 社区为主 | 社区为主 | 成熟 |
三、选型结论
选 Portkey Gateway
核心诉求是极致低延迟,业务以海外模型为主;后续有企业级合规、SLA 保障需求,可接受付费升级。
选 One API
需要对接大量国产大模型,追求稳定、社区成熟的基础方案;核心需求是 API 中转、多渠道负载均衡,希望部署和运维极简。
选 New API
习惯 One API 生态,但想要更好的 UI 体验和更丰富的细节功能;希望更快获得新模型适配,优先考虑使用体验而非纯原生稳定性。
选 LiteLLM
团队是Python 技术栈,重度使用 Agent 框架、MCP 工具;需要云原生标准化部署,看重管理后台与全链路可观测能力。