FreeLLMAPI:24 家厂商、128 个模型、1 个 Key智能切换所有可用的模型

关注我的公众号:【编程朝花夕拾】,可获取首发内容。

01 引言

面上几乎每家 AI 厂商(Google、Anthropic、OpenAI、Meta、Mistral、Cohere、智谱等)都开放了免费 API 额度------单看每一家都不大,但把 24 家免费额度叠加起来,就有了 128 个免费模型、跨厂商的稳定推理能力。

但问题也很明显:24 套 SDK、24 种限速规则、24 个失败点。手动切换既麻烦又低效。

今天要介绍的这个项目可以实现一次配置,自动切换,无忧使用免费模型:FreeLLMAPI

02 简介

FreeLLMAPI将24家厂商128个免费的模型集成在一起,通过openai的协议暴露出去,作为一个路由只能切换可用模型。主要解决的问题:

  • 暴露一个标准的 OpenAI / Anthropic 兼容端点
  • 智能路由 + 自动 Failover(某个 Key 限流时自动切到下一家)
  • 加密存储所有上游 API Key
  • 每天自动同步全网新出的免费模型

在GitHub已经斩获14.8k的star,可见其受欢迎的程度,

官网地址:freellmapi.co/

GitHub地址:github.com/tashfeenahm...

我们一起来看看怎么玩!

03 快速搭建

3.1 Docker安装

bash 复制代码
curl -fsSL https://freellmapi.co/install.sh | bash

脚本自动完成:建目录、生成加密 Key、拉镜像、启动容器。

也可以直接拉取镜像:

3.2 Docker Compose

bash 复制代码
git clone https://github.com/tashfeenahmed/freellmapi.git
cd freellmapi

# 生成加密 Key(AES-256-GCM 用)
ENCRYPTION_KEY="$(openssl rand -hex 32)"
printf "ENCRYPTION_KEY=%s\nPORT=3001\n" "$ENCRYPTION_KEY" > .env

docker compose up -d

使用Docker部署时,可能会遇到小问题。无法访问地址。需要修改启动参数:

bash 复制代码
HOST_BIND=0.0.0.0 docker compose up -d

3.3 Windows

直接到 Releases 下载 .exe 安装器,双击装好即可。

04 配置

选择任意一种方式搭建即可。完成之后即可访问:http://IP:port

进入页面之后需要创建账号:

创建账号之后就可查看内容了。我们会发现并没有出现免费的模型,我们需要配置厂商。

我们需要在秘钥Tab添加提供商:

添加完成之后,就可以看到已经配置的提供方:

模型也就可以查看了:

我们可以通过试玩台测试模型:

对外的统一出口路由:

05 OpenCode接入

通过上面我们就配置好了我们的免费模型,直接接入OpenCode。

5.1 配置OpenCode

自定义提供商:

5.2 添加配置

添加FreeLLMApi统一路由即可。

5.3 测试

添加完成之后,就可在界面看到添加的模型名称。

验证模型的可用性:

06 小结

提前量免费的羊毛配置好,就可以无忧使用了。再也不用到处找免费的Model了,也不用来回切换可用的模型了。

感兴趣的老铁,快去试试吧!

相关推荐
猿究院_夏燊2 小时前
Spring Bean 生命周期
java·后端·spring
Wang's Blog3 小时前
Java 项目实战: 交友项目:登录链路回顾与今日任务地图
java·开发语言·状态模式·交友
信誓旦旦的程序猿3 小时前
【Python量化实战宝典 #08】可转债与债券接口手册:转股价·溢价率·纯债价值(Python 可跑)
java·python·股票数据api·股票数据api接口·股票api数据接口·股票量化数据api·股票量化数据接口
砚底藏山河3 小时前
python量化:行情数据回溯
java·开发语言·python·金融·maven
Jlzn88883 小时前
华东电芯分选通道数怎么配才不堵线
java·人工智能·架构·自动化·制造
香吧香4 小时前
GRPC连接机制---长连接分析
java·网络与传输协议
CCblandy4 小时前
雪花 ID 四个边界实测:时钟回拨重号 500 个,前端 JSON.parse 直接丢精度
后端·python·算法·性能优化·架构
我是人✓4 小时前
SpringBoot项目的五种创建方式
java·spring boot·后端
Wang's Blog4 小时前
Java 项目实战: 交友项目 - 阿里云 OSS 入门案例:从创建 Bucket 到上传拿到可访问 URL
java·阿里云·交友
裕晟资质规划5 小时前
三类涉密资质延续时限差异分析:军工60日与集成印制3个月的边界
java·服务器·前端·网络·安全