AI Key 太多?我做了个统一管理工具

如果你同时在用 OpenAI、Claude、Gemini、本地模型,或者手里有多个平台账号和 API Key,应该经历过这些问题:

模型入口越来越多,配置散落得到处都是;切换供应商,需要挨个修改客户端;团队成员各用各的 Key,成本很难统计;出了问题,还要在不同控制台之间来回排查。

所以我做了一个开源项目:Octafuse Gateway

它是一个可以自托管的 AI Gateway,简单来说,就是把分散在不同平台背后的模型能力,统一成:

一个 Base URL一个 API Key一套管理后台

目前它可以做到:

✨ 统一接入多种模型

支持 OpenAI、Anthropic、Gemini 风格接口。客户端只需要配置一次,就能访问背后的多个模型供应商。

🔀 灵活配置模型路由

模型选择不再写死在业务代码里。可以按照优先级、权重和可用性,把同一个模型名称路由到不同上游,方便切换、灰度和故障转移。

💳 给不同用户分配独立 Key

可以给成员、客户或项目创建独立 API Key,并设置预算、启停状态和额度重置周期。

📊 统一查看用量和成本

请求日志、错误、延迟、Token 用量、模型成本、Provider 用量和用户用量,都可以在管理台集中查看。

🧾 区分实际成本与最终扣费

同时记录上游实际成本、标准价格和最终扣费金额,方便团队对账,也方便接入自己的计费系统。

🧪 自带 Playground 和 Simulator

上线前可以直接测试单条模型路由,或者在浏览器里模拟客户端调用流程。

部署方面,目前支持:

  • Docker Compose + PostgreSQL / MySQL
  • Cloudflare Workers + D1

适合这些场景:

  • 个人统一管理自己的 AI 和 Coding 资源
  • 独立开发者管理多个项目的 Token 成本
  • 小团队给不同成员分配额度
  • SaaS 产品为客户提供统一 AI 接口
  • 多模型供应商之间做容灾和灰度切换

GitHub 搜索:OctaFuse/octafuse-gateway

如果你刚好也在折腾 AI 应用、多模型接入或者 API Key 管理,欢迎试用,也欢迎来提 Issue、贡献代码或者点一个 Star ⭐️

相关推荐
sel_91 天前
【强化学习】Hands-on Modern RL项目实践|OPD 算法完整解析
人工智能·深度学习·算法·机器学习·语言模型
xushichang123_1 天前
Agentic AI 应用 Token 开销居高不下,可借助哪些云平台与架构实现成本管控?
人工智能
世岩清上1 天前
新能源宣传片怎么拍?如何用画面讲好你的绿色能源故事
大数据·人工智能·能源·宣传片·宣传片拍摄
why技术1 天前
eli5,我觉得这个全网在吹的技能,使用体验真的很一般啊。
前端·人工智能·后端
冬奇Lab1 天前
开源项目第196期:LiveTalking — 实时交互流式数字人引擎,支持 Wav2Lip/MuseTalk/ER-NeRF
人工智能·开源·资讯
冬奇Lab1 天前
Code Agent 解剖(09):对话越来越长,token 超了怎么办?
人工智能
甲维斯1 天前
Opus5挖的坑,DS秒破,实战和模拟的巨大鸿沟!
人工智能
Elastic 中国社区官方博客1 天前
让大模型思考,让小模型执行:在 Elastic Workflows 中拆分 LLM 成本
大数据·运维·数据库·人工智能·elasticsearch·ai
爱学习的小白柏1 天前
【AI问数技术】多Agent协同架构:查询规划/SQL生成/洞察分析/报告生成
java·网络·人工智能·windows·sql·架构·llama