从零部署 MAI Gateway,可以先做一个小而完整的项目。
选一个业务应用,接一个主模型,创建一个项目和一把独立令牌,再配预算、日志与告警。第一条请求完成以后,继续检查它属于谁、花了多少、经过哪条供应链路。
下面用一个示例企业展开配置。研发部使用知识问答和代码辅助,运营部使用批量文案生成。这个例子用于说明配置方法。
一、先把三个应用放进管理表
| 应用 | 所属部门 | 运行环境 | 主要特点 |
|---|---|---|---|
| 知识问答 | 研发部 | 生产 | 交互请求,需要稳定响应 |
| 代码辅助 | 研发部 | 测试 | 输入可能包含代码与配置 |
| 文案生成 | 运营部 | 生产 | 批量任务,容易集中消耗额度 |
三个应用使用不同令牌。代码辅助的测试流量与知识问答的生产流量分开管理,避免一个测试脚本耗尽共享额度。
MAI Gateway 支持项目、令牌、权限和多层配额,可以把调用归到部门、项目和应用。
二、准备环境,安装服务
试点阶段可以选择 Docker 部署。企业已有 Kubernetes 平台,也可以把网关纳入现有发布流程。
使用交付包中的部署脚本和配置模板,完成服务启动、域名、证书、数据目录与网络配置。启动以后先确认控制台可登录,再检查网关到模型服务的连接。
此时不要同时接入全部模型。先用一条供应链路完成普通文本请求,排除地址、凭证和模型 ID 问题。
三、接入主模型与备用链路
MAI Gateway 支持分别管理模型和供应商,也支持主备路由与链路质量监控。
可以先按下面的设计接入,MAI支持自定义路由策略,也可以直接使用预设的多种自动路由策略。
| 用途 | 主链路选择 | 备用链路选择 | 配置重点 |
|---|---|---|---|
| 知识问答 | 已通过业务测试的模型 | 同模型其他供应商或合适的备用模型 | 输出格式、响应时间 |
| 代码辅助 | 具备代码能力的模型 | 通过代码任务测试的模型 | 工具参数、代码处理规则 |
| 文案生成 | 满足质量要求的低成本模型 | 另一条可用供应链路 | 批量规模、重试与费用 |
四、建立项目与令牌
在 MAI Gateway 中创建三个项目,分别绑定负责人和对应部门,再为每个应用创建令牌。
| 项目 | 令牌用途 | 模型范围 | 费用归属 |
|---|---|---|---|
| 研发知识问答 | 知识库生产服务 | 问答模型 | 研发部 |
| 研发代码辅助 | 测试代码工具 | 代码模型 | 研发部 |
| 运营文案生成 | 批量生成任务 | 文案模型 | 运营部 |
令牌交给应用使用,上游供应商 Key 留在网关侧。后续停用某个应用,只需处理对应令牌,不必更换全公司的供应商凭证。
MAI Gateway 支持独立令牌、组织权限、项目计量与费用分摊,适合按这种方式管理多个应用。
五、设置一组能执行的预算
预算先按业务拆,再按周期配置。
下面的金额是一组示例预算。
| 项目 | 月预算 | 日额度建议 | 处理方式 |
|---|---|---|---|
| 研发知识问答 | 600 元 | 根据实际日用量设置 | 接近预算时通知负责人 |
| 研发代码辅助 | 400 元 | 测试阶段设置较低额度 | 到达上限后暂停测试 |
| 运营文案生成 | 500 元 | 按批次规模设置 | 控制任务规模,必要时追加预算 |
MAI Gateway 支持日配额、月配额、总配额与预警阈值。项目预算和部门预算同时存在时,要检查它们的生效关系,避免子项目仍有余额、部门额度却已经耗尽。
费用计算也可以做一次手工核对。假设某模型输入价格为每百万 Token 2 元,输出价格为每百万 Token 8 元,一个任务消耗 200 万输入 Token 和 50 万输出 Token,那么示例费用为 8 元。
这个数字只是计算演示,实际价格填写采购使用的模型单价。若任务还有缓存、推理、图片或音频计费,应分别核算。
六、给三个应用配置不同安全规则
| 应用 | 重点数据 | 建议配置 |
|---|---|---|
| 知识问答 | 客户资料、内部文档 | 脱敏并限制日志查看范围 |
| 代码辅助 | API Key、内网地址、配置文件 | 检查密钥与敏感字段,限制测试权限 |
| 文案生成 | 联系方式、客户名单 | 脱敏个人信息,控制批量输入 |
MAI Gateway 支持访问控制、输入防护、输出过滤和敏感信息脱敏。
配置完成以后,用正常文本和敏感样本分别测试。
七、跑一次完整验收
| 操作 | 检查内容 |
|---|---|
| 知识问答发送正常请求 | 内容返回,项目和金额正确 |
| 代码工具调用无权限模型 | 请求受到权限限制 |
| 停用文案任务令牌 | 对应应用无法继续调用 |
| 让主供应链路不可用 | 路由按主备策略处理 |
| 输入敏感测试文本 | 规则执行,日志可追查 |
| 调整一个配置 | 操作日志记录管理员动作 |
测试重点是观察配置如何生效。请求成功只说明调用路径正常;权限拒绝、令牌停用、预算处理和故障切换,可以进一步说明管理规则是否执行。
八、从试点扩展到正式运行
一个项目跑通以后,再复制已经验证的配置方法。
新增应用时创建项目、负责人和专用令牌,配置模型权限与预算;新增供应商时测试接口和计价;新增安全规则时先检查真实样本。
最后保存一份交接表,记录网关地址、版本、模型目录、项目负责人、告警接收人和恢复步骤。