****Open Move AI Gateway、****Higress 、OpenRouter、TogetherAI、LiteLLM、Portkey
追求模型覆盖广度：OpenRouter（350+模型）覆盖最全，适合全球化多模型测试场景。
需要国内直连与合规结算：七牛云AI（双协议兼容+600万免费Token）、硅基流动（推理加速+多模态）均有国内节点，对公结算便利。
有私有化部署与数据合规强需求：OneAPI（开源自托管）、LiteLLM（开源网关）、Portkey开源版均可自主部署。
个人开发者快速原型验证：n1n.ai低门槛快速上手。
OneAPI是开源的AI接口管理与分发系统，可将OpenAI、Azure、Anthropic、国内各厂商API统一收口。GitHub星标超3.1万，支持25+上游供应商，MIT协议允许私有化部署。
OneAPI
| 对比项 | OneAPI | Higress |
|---|---|---|
| 核心功能 | AI 网关 | 具有 AI 网关功能的 API 网关 |
| 维护方式 | 由个人维护的项目 | 由阿里云 API 网关团队维护 |
| 系统安全 | 易受安全漏洞影响,如 DockerHub 镜像被注入加密挖矿脚本 | 商业版由阿里云托管,开源版集成容器镜像服务,提供安全扫描 |
| 内容安全 | 无 | 集成阿里云内容安全,实时内容过滤与数据脱敏 |
| 模型管理 | 仅支持模型和 API Key 配置 | API Key 池管理、消费者管理、兜底模型、模型灰度 |
| 可观测性 | 无 | 监控仪表板、Token 消耗分析、延迟监控 |
| 可扩展性 | 无 | 插件市场、自定义 Wasm 插件、热加载 |
LiteLLM 是一款开源的大语言模型（LLM）网关和代理工具，旨在通过统一的 OpenAI 兼容 API 接口，管理超过 100 种大模型的认证、负载均衡及成本追踪。
官方链接 :https://litellm.ai（LiteLLM 官方网站，提供文档与下载）
| 对比项 | LiteLLM | Higress |
|---|---|---|
| 架构 | 基于 Python SDK 的 proxy 模式,资源开销大,稳定性差 | 基于 API 网关,控制面与数据面分离,动态配置生效 |
| 负载均衡 | 支持延迟、最少忙碌、限流感知、最低成本等策略 | 支持 LiteLLM 所有策略 + 基于意图的负载均衡 |
| 重试/兜底 | 支持 retry、cooldown 和 fallback,功能基础 | API Key 层面 + 服务实例层面双重 cooldown,主动健康检查 |
| 可观测性 | 支持对接 LangFuse/LangSmith | 对接 ARMS/SLS,支持 OpenTelemetry 协议 |
| 自建模型 | 支持 vllm、ollama 等 | 支持 PAI EAS/vllm/ollama/sglang/xinference,兼容 OpenAI 协议 |
| 扩展性 | --- | Wasm 插件,支持多语言,流量无损热更新 |
| 易用性 | --- | 开箱即用的 UI 控制台 |
| 安全 | --- | 内容安全、数据脱敏、多种认证鉴权策略 |
| 企业级特性 | --- | 经过大规模验证,支持每秒数十万级请求,配置毫秒级生效 |