cloudflare AI gateway实战代理任意第三方大模型服务提供商
| 💡 关于本教程实战演示如何配置、使用cloudflare的AI gateway代理任意的第三方大模型服务提供商 |
|---|
大纲
cloudflare AI gateway能做什么
创建网关并添加自定义大模型服务商
实战对接自定义服务商
正文
cloudflare AI gateway能做什么
1、提供日志分析
2、缓存
也可以跳过或者设置缓存有效期，有缓存后就不用每次请求大模型了，而是cloudflare返回缓存的内容，这样可以节省一些费用。
跳过或者设置缓存有效期的文档：https://developers.cloudflare.com/ai-gateway/features/caching/
3、限速
4、重试和模型回退
可以处理请求失败时的处理场景，如失败时请求另一个模型。
5、代理自定义模型
这个是本文教程的核心。
创建网关并添加自定义大模型服务商
1、创建网关
我们回到ai gateway的首页： https://dash.cloudflare.com/?to=/:account/ai/ai-gateway 可以看到网关创建好了，我们点击配置自定义服务商：
我们进到网关，点击设置，创建身份验证令牌：
记下生成的令牌，通过cloudflare AI gateway请求自定义大模型的curl：
curl https://gateway.ai.cloudflare.com/v1/{account_id}/{gateway_id}/compat/{endpoint} \ -H "Authorization: Bearer $PROVIDER_API_KEY" \ -H "cf-aig-authorization: Bearer $CF_AIG_TOKEN" \ -H "Content-Type: application/json" \ -d '{ "model": "custom-some-provider/model-name", "messages": [{"role": "user", "content": "Hello!"}] }'上面有6个字段要获取，我们一个个来：
1、account_id
2、gateway_id
3、$PROVIDER_API_KEY
这个是在dmxapi添加的令牌
4、$CF_AIG_TOKEN
5、custom-some-provider
我们创建的自定义服务商的名称，我之前创建的名称为：
拼接起来就是：
custom-dmxapi6、model-name
这个就是自定义服务商支持的模型名称了，比如dmxapi有这些免费模型：
我这里任选一个：qwen-flash
7、endpoint
某些大模型厂商是：
v1/chat/completions这个需要简单测试一下即可。
最后我的curl就是（其他参数需要自己拼接起来）：
curl https://gateway.ai.cloudflare.com/v1/{account_id}/{gateway_id}/compat/v1/chat/completions \ -H "Authorization: Bearer $PROVIDER_API_KEY" \ -H "cf-aig-authorization: Bearer $CF_AIG_TOKEN" \ -H "Content-Type: application/json" \ -d '{ "model": "custom-dmxapi/qwen-flash", "messages": [{"role": "user", "content": "Hello!"}] }'发起请求，拿到结果：
查看日志：
这样的话，我们只需要配置一下就能代理请求某个自定义的大模型，我们可能配置多个custom-、每个custom可以有多个模型，这样的话对接就简单很多，还能看到每次自己请求的内容和ai返回的内容是啥。
ok，大家有啥疑问的也可以在评论区留言，喜欢的朋友可以帮我分享一下谢谢~