如果你同时在用 OpenAI、Claude、Gemini、本地模型,或者手里有多个平台账号和 API Key,应该经历过这些问题:
模型入口越来越多,配置散落得到处都是;切换供应商,需要挨个修改客户端;团队成员各用各的 Key,成本很难统计;出了问题,还要在不同控制台之间来回排查。
所以我做了一个开源项目:Octafuse Gateway
它是一个可以自托管的 AI Gateway,简单来说,就是把分散在不同平台背后的模型能力,统一成:
一个 Base URL一个 API Key一套管理后台
目前它可以做到:
✨ 统一接入多种模型
支持 OpenAI、Anthropic、Gemini 风格接口。客户端只需要配置一次,就能访问背后的多个模型供应商。
🔀 灵活配置模型路由
模型选择不再写死在业务代码里。可以按照优先级、权重和可用性,把同一个模型名称路由到不同上游,方便切换、灰度和故障转移。
💳 给不同用户分配独立 Key
可以给成员、客户或项目创建独立 API Key,并设置预算、启停状态和额度重置周期。
📊 统一查看用量和成本
请求日志、错误、延迟、Token 用量、模型成本、Provider 用量和用户用量,都可以在管理台集中查看。
🧾 区分实际成本与最终扣费
同时记录上游实际成本、标准价格和最终扣费金额,方便团队对账,也方便接入自己的计费系统。
🧪 自带 Playground 和 Simulator
上线前可以直接测试单条模型路由,或者在浏览器里模拟客户端调用流程。
部署方面,目前支持:
- Docker Compose + PostgreSQL / MySQL
- Cloudflare Workers + D1
适合这些场景:
- 个人统一管理自己的 AI 和 Coding 资源
- 独立开发者管理多个项目的 Token 成本
- 小团队给不同成员分配额度
- SaaS 产品为客户提供统一 AI 接口
- 多模型供应商之间做容灾和灰度切换
GitHub 搜索:OctaFuse/octafuse-gateway
如果你刚好也在折腾 AI 应用、多模型接入或者 API Key 管理,欢迎试用,也欢迎来提 Issue、贡献代码或者点一个 Star ⭐️