
GitHub Release:
https://github.com/rainway-ai-gateway/ai-gateway/releases/tag/v0.4.0
项目地址:
https://github.com/rainway-ai-gateway/ai-gateway
近日,壬远AI网关(Rainway AI Gateway)正式开源发布 v0.4.0 版本。
从 v0.3.0 的"流量怎么调度",v0.4.0 进一步回答"如何精细化计费与调度"。本次版本聚焦 模型定价 + RMB 配额、集群多 API-Key 加权路由、Provider/Model 前缀裁剪、路由规则 fallback 四大核心能力,并伴随 品牌全面升级至 壬远AI网关(Rainway AI Gateway)。配合 BFE v1.8.5 数据面增强,企业在多模型、多厂商、多账号场景下的 AI 流量治理将更加经济、稳定、可扩展。
一、版本概览
v0.4.0 是一次正式版本更新,涉及数据面、控制面、管理面全链路升级,各组件版本对齐如下:
| 组件 | 版本 | 说明 |
|---|---|---|
| BFE | v1.8.5 | 数据面 |
| AI Gateway API | v0.0.7 | 控制面 |
| Dashboard | v0.0.7 | 内嵌于 API 镜像 |
| Log Reader | v1.1.0 | 访问日志 → Kafka |
| conf-agent | v0.0.5 | 本次无更新 |
一句话总结 v0.4.0:从"按策略转发"走向"按成本与可用性精细调度",让企业真正掌握 AI 流量的经济性与稳定性。
二、核心能力
1. 模型定价 + RMB 配额
v0.4.0 全新推出 Model Pricing(模型定价)模块 ,覆盖 Dashboard 与 API 两端,底层由 model_prices 表持久化。企业可以为不同模型、不同请求模式(如 chat、completion)配置差异化单价,实现精细化的成本核算。
在此基础上,quota_plan.unit 新增对 RMB(人民币) 的支持:
-
按部门/项目分配月度预算;
-
按实际 Token 消耗与模型单价计算请求成本;
-
余额不足时自动拒绝,防止预算超支。
RMB 配额与原有的 Token 配额可并存,满足不同企业的成本管控需求。
2. 集群多 API-Key 加权路由
企业在实际使用中常遇到同一模型在多个账号/Key 下部署、需要分散调用以避免单 Key 限额的场景。v0.4.0 在集群级别支持配置多个 API Key:
-
每个 Key 可配置名称、Key 值与权重;
-
配合
key_policy定义选择策略(如加权随机); -
BFE 转发时自动按权重选择并注入后端 Key,客户端无感知。
这一能力显著降低了客户端与后端的耦合,提升了多账号场景下的可用性与并发能力。
3. Provider / Model 前缀裁剪
针对 OpenRouter 等模型聚合平台,客户端通常需要在请求中携带 provider_name/model_name 格式(如 openrouter/anthropic/claude-sonnet-4.6)。v0.4.0 支持在 cluster 级别配置 match_prefix / strip_prefix:
-
match_prefix:定义该集群负责匹配的前缀; -
strip_prefix:转发给下游前是否裁剪该前缀。
BFE 会在转发前自动将 openrouter/anthropic/claude-sonnet-4.6 裁剪为下游内部认可的 anthropic/claude-sonnet-4.6,实现统一入口与多厂商后端的透明对接。
4. 路由规则 Fallback 与新条件原语
v0.4.0 进一步增强 AI 路由的可靠性:
-
路由规则 fallbacks :在
targets主目标之外,可为规则配置fallbacks备用目标列表。当主目标返回连接失败、超时、5xx 或特定 4xx(如 429)时,BFE 按顺序回退到备用集群,提升整体可用性。 -
req_body_json_prefix_in条件原语 :支持基于请求体 JSON 字段的前缀进行匹配,例如req_body_json_prefix_in("model", "openai/"),让模型层级前缀组织的路由规则更加简洁自然。
5. 品牌升级:壬远AI网关
从 v0.4.0 开始,项目中文名称正式改为 壬远AI网关 ,项目组织与镜像仓库全面迁移至 rainway-ai-gateway (https://github.com/rainway-ai-gateway)。
三、组件更新详解
1. AI Gateway API v0.0.7
-
新增 Model Pricing 相关 API,支持模型价格的增删改查与校验。
-
quota_plan.unit扩展支持RMB。 -
集群配置支持
keys与key_policy。 -
路由规则支持
fallbacks与req_body_json_prefix_in条件。 -
增强路由规则引用删除校验、配额/Redis 同步稳定性。
2. Dashboard v0.0.7
-
新增 Model Pricing 管理页面,可视化配置模型单价。
-
集群配置支持多 API Key 与 Key Policy 管理。
-
路由规则支持配置 fallbacks。
-
修复端口同步、密钥脱敏、定价校验等问题。
3. BFE v1.8.5
-
新增 RMB 配额扣减能力,支持定点整数精度。
-
支持集群多 API Key 加权选择与注入。
-
支持 Provider/Model 前缀裁剪。
-
增强 fallback 机制:4xx 触发 fallback、body rewind 回放、新增
AccessibleBodySize与TotalBodyBufferSize缓冲区管理。 -
新增
req_body_json_prefix_in条件原语。
四、重要提示
1. 可观测组件本次不可用
Log Reader v1.1.0 已升级日志字段,但 Kafka / Doris / Grafana 尚未重新对接。因此 docker compose --profile observability 与 K8s doris.yaml / grafana.yaml 在本次发版中均不可用,核心网关能力不受影响。完整可观测组件将在下一个版本提供。
五、获取方式
AI 网关总入口:
- AI-Gateway :https://github.com/rainway-ai-gateway/ai-gateway
控制平面与管理面:
-
AI-Gateway-API :https://github.com/rainway-ai-gateway/ai-gateway-api
-
AI-Gateway-Web :https://github.com/rainway-ai-gateway/ai-gateway-web
配合 BFE v1.8.5 转发引擎,即可构建包含数据面与控制面的完整 AI 网关解决方案。
六、我们期待
-
如果你正在为企业构建大模型基础设施,试试 v0.4.0 的模型定价、RMB 配额与多 Key 路由能力,给我们反馈。
-
如果你在 AI 流量调度中遇到复杂的多厂商、多账号、多模型计费与降级问题,欢迎在 GitHub 提 Issue,我们一起解决。