AI-Gateway:一款整合了OpenAI、Anthropic、LLama2等大语言模型的统一API接口

关于AI-Gateway

AI-Gateway是一款针对大语言模型的统一API接口,该接口可以用在应用程序和托管的大语言模型(LLM)之间,该工具可以允许我们通过一个统一的API接口将API请求转发给OpenAI、Anthropic、Mistral、LLama2、Anyscale、Google Gemini等大语言模型。

功能特性

1、功能非常快,体积非常小;

2、跨多模型和提供商实现负载均衡;

3、支持回退以确保应用程序保持弹性;

4、默认配置下,支持自动重试;

5、可根据需要安装中间件;

6、支持多种大语言模型;

支持的SDK

|-------------------|--------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------|
| 编程语言 | 支持的SDK |
| Node.js / JS / TS | Portkey SDK OpenAI SDK LangchainJS LlamaIndex.TS |
| Python | Portkey SDK OpenAI SDK Langchain LlamaIndex |
| Go | go-openai |
| Java | openai-java |
| Rust | async-openai |
| Ruby | ruby-openai |

工具安装&部署

本地部署

如果你熟悉Node.js和npx的话,可以直接在本地安装和部署你自己的AI-Gateway:

复制代码
npx @portkey-ai/gateway

安装完成后,就可以打开浏览器并访问下列地址使用AI-Gateway了:

复制代码
http://localhost:8787

Cloudflare Worker部署

使用下列命令将该项目源码克隆至本地:

复制代码
git clone https://github.com/portkey-ai/gateway

然后安装NPM依赖:

复制代码
cd gateway

npm i

使用wrangler部署即可:

复制代码
npm run deploy

Node.js部署

使用下列命令将该项目源码克隆至本地:

复制代码
git clone https://github.com/portkey-ai/gateway

然后安装NPM依赖:

复制代码
cd gateway

npm i

npm run build

然后运行Node服务器:

复制代码
node build/start-server.js

Docker部署

广大研究人员也可以直接使用Docker来运行AI-Gateway:

复制代码
docker run -d -p 8787:8787 portkeyai/gateway:latest

Docker-Compose部署

使用下列命令下载Compose文件:

复制代码
wget "https://raw.githubusercontent.com/Portkey-AI/gateway/main/docker-compose.yaml"

然后运行Docker-Compose即可:

复制代码
docker compose up -d

服务当前会运行并监听8787端口。

AI-Gateway配置

AI-Gateway支持通过自定义配置来实现多功能路由策略,例如回退、负载均衡和自动重连等。

我们可以通过x-portkey-config Header在调用OpenAI时应用下列配置信息:

复制代码
// 使用OpenAI JS SDK时

const client = new OpenAI({

  baseURL: "http://127.0.0.1:8787", // The gateway URL

  defaultHeaders: {

    'x-portkey-config': {.. your config here ..},

  }

});

下面给出的样例配置会在回退至Gemini Pro之前尝试向OpenAI发送5次请求:

复制代码
{

  "retry": { "count": 5 },

  "strategy": { "mode": "fallback" },

  "targets": [{

      "provider": "openai",

      "api_key": "sk-***"

    },{

      "provider": "google",

      "api_key": "gt5***",

      "override_params": {"model": "gemini-pro"}

  }]

}

下面的配置将启动负载均衡功能:

复制代码
{

  "strategy": { "mode": "loadbalance" },

  "targets": [{

      "provider": "openai",

      "api_key": "sk-***",

      "weight": "0.5"

    },{

      "provider": "openai",

      "api_key": "sk-***",

      "weight": "0.5"

    }

  ]

}

工具使用

下面的例子中,我们将通过AI-Gateway尝试向OpenAI发送一个Chat completions调用:

复制代码
curl '127.0.0.1:8787/v1/chat/completions' \

  -H 'x-portkey-provider: openai' \

  -H "Authorization: Bearer $OPENAI_KEY" \

  -H 'Content-Type: application/json' \

  -d '{"messages": [{"role": "user","content": "Say this is test."}], "max_tokens": 20, "model": "gpt-4"}'

许可证协议

本项目的开发与发布遵循MIT开源许可证协议。

项目地址

AI-Gateway :【GitHub传送门

参考资料

AI Gateway - Simplify Your LLM Integrations | Portkey

https://hub.docker.com/r/portkeyai/gateway

相关推荐
MARS_AI_6 分钟前
大语言模型驱动智能语音应答:技术演进与架构革新
人工智能·语言模型·自然语言处理·架构·信息与通信
程序员小灰11 分钟前
AI独角兽团队Manus裁员80人,剩下40人迁至新加坡总部!
人工智能·aigc·agent
新智元22 分钟前
OpenAI去年挖的坑填上了!奖励模型首现Scaling Law,1.8B给70B巨兽上了一课
人工智能·openai
简婷1870199877531 分钟前
源网荷储 + 零碳园区:一场关于能源与未来的双向奔赴
大数据·人工智能·能源
新智元36 分钟前
Grok 4作战图刷爆全网,80%华人横扫硅谷!清华上交校友领衔,95后站C位
人工智能·openai
小宋00136 分钟前
使用LLaMA-Factory微调Qwen2.5-VL-3B 的目标检测任务-数据集格式转换(voc 转 ShareGPT)
人工智能·目标检测·计算机视觉
小哥谈1 小时前
论文解析篇 | YOLOv12:以注意力机制为核心的实时目标检测算法
人工智能·深度学习·yolo·目标检测·机器学习·计算机视觉
北京地铁1号线1 小时前
大模型 Agent(智能体)技术简介
语言模型·大模型·agent
mit6.8241 小时前
[Meetily后端框架] AI摘要结构化 | `SummaryResponse`模型 | Pydantic库 | vs marshmallow库
c++·人工智能·后端
阿里云大数据AI技术1 小时前
Post-Training on PAI (3): 自研高性能强化学习框架PAI-ChatLearn
人工智能·开源·强化学习