
以下是对该模型代理网关的简单介绍:
- model_auto_switch是一个支持多供应商、负载均衡和故障转移的 OpenAI 兼容 API 代理网关
- 支持接入多个OpenAI API兼容的模型供应商,如openai、openrouter、newapi等等
- 支持供应商级别、模型级别的优先级和权重调整,支持模型别名、失败重试,可实现可靠的负载均衡和故障转移,可极大提高模型服务的可靠性
- 提供Web UI,可在线登录并管理供应商和模型配置,在线查看模型使用与健康情况、程序运行日志等
- 支持Docker部署,容器镜像和运行容器内存占都只有几MB,非常轻量
- 该工具的开源地址参考:https://github.com/luler/model_auto_switch
Docker快速部署与应用实操参考:一个带Web UI管理的轻量级高性能OpenAI模型代理网关,支持Docker快速部署
https://blog.luler.top/d/107