FreeLLMAPI 是一个开源的 OpenAI 兼容 API 代理网关 ，由开发者 tashfeenahmed 创建并托管在 GitHub 上（github.com/tashfeenahmed/freellmapi），目前已有超过 6000 个 Star。
它的核心思路非常巧妙：将约 14 家 AI 服务商的免费 API 额度聚合到一个统一端点上，对外暴露标准的 OpenAI 接口，让开发者可以零成本使用大模型。
核心功能
- 多平台免费额度聚合 ：整合了 Google Gemini、Groq、Cerebras、SambaNova、Mistral、OpenRouter、GitHub Models、Cloudflare Workers AI、Cohere、智谱 Z.ai、MiniMax、NVIDIA NIM 等约 14 家平台的免费 API，每月总计约 13 亿 tokens 的免费推理额度。
- OpenAI 兼容接口 ：对外暴露标准的
/v1/chat/completions和/v1/models端点，兼容 OpenAI 官方 SDK、LangChain、LlamaIndex 等客户端，只需修改base_url即可无缝接入现有项目。 - 自动故障转移：当首选提供商返回 429/5xx 错误或超时时，自动将其置为冷却状态，并按预设优先级链尝试下一家提供商，最多重试 20 次。
- 智能速率与配额追踪：针对每个（平台、模型、密钥）组合实时跟踪 RPM、RPD、TPM、TPD 用量，确保始终调用未超限的健康密钥。
- 粘性会话锁定：多轮对话在 30 分钟内锁定同一模型，防止中途切换导致上下文断裂。
- AES-256-GCM 密钥加密：上游 API 密钥在数据库中静态加密，仅在请求时于内存中临时解密。
- 可视化仪表盘：内置 React/Vite 管理后台，支持拖拽调整回退链优先级、Playground 快速测试、以及延迟/成功率/Token 用量等统计分析。
快速上手
环境准备
Node.js 20 以上
Git
部署步骤
克隆仓库
git clone https://github.com/tashfeenahmed/freellmapi.git
cd freellmapi
安装依赖
npm install
生成加密密钥并创建 .env 文件
cp .env.example .env
echo "ENCRYPTION_KEY=$(node -e "console.log(require('crypto').randomBytes(32).toString('hex'))")" >> .env
启动开发服务器
npm run dev
启动后访问 http://localhost:5173，在 Keys 页面添加各服务商的 API Key，即可生成统一的 Bearer Token。
使用示例
局限性与注意事项
- 非前沿模型：免费层级通常对应中等规模模型（如 Llama 3.3 70B、GLM-4.5），无法获得 GPT-5 或 Claude Opus 级别的顶级推理能力。
- 性能波动：不同服务商的延迟差异较大（Groq/Cerebras 极快，其他可能较慢），且随着每日免费额度消耗，路由可能回退到较小或较慢的模型。
- 本地优先：项目设计为个人自用，不支持多租户认证，不建议直接暴露于公网。
- 功能限制：目前仅支持文本聊天，暂不支持嵌入（embedding）、图像生成、音频或多模态输入。
适用场景
FreeLLMAPI 非常适合 个人开发者、学生、小型初创团队 用于本地实验、原型验证和低成本 AI 应用开发。它通过技术手段将分散的免费资源整合成一股合力，提供了一个零成本、高可用性的大模型接入方案。