企业接入一个大模型,通常只需要配置接口地址和密钥。接入多个模型、供多个部门使用后,还需要解决权限、预算、安全和故障排查。
MAI Gateway(魔芋企业AI网关)支持统一接入云端模型和本地模型,并集中管理模型调用。它的功能覆盖统一接口、模型与供应商管理、企业Token、配额、成本、安全防护、日志和监控。
一次模型调用,网关处理哪些事
从功能分工看,一次请求可以按下面的路径理解。实际执行顺序以产品配置和实现为准。
业务应用 → 网关鉴权与规则检查 → 目标模型服务 → 智能路由→响应处理 →数据脱敏→ 日志与用量记录
应用使用网关地址和企业Token发起请求。网关根据配置连接目标模型,并关联调用者、项目、模型和供应商。请求完成后,管理员可以查看状态、耗时和Token消耗。
这里有两类Token需要区分。企业Token是调用凭证,用于识别身份和权限;计量Token是模型处理文本的计量单位,用于统计用量和费用。
统一接入带来什么变化
| 管理事项 | 各应用分别接入模型 | 通过MAI Gateway接入 |
|---|---|---|
| 接口配置 | 各自维护地址和密钥 | 使用统一入口,集中配置上游 |
| 模型变更 | 逐个检查应用配置 | 集中调整模型配置,再做兼容验证 |
| 调用身份 | 依赖各应用自行记录 | 企业Token关联用户和项目 |
| 使用额度 | 分别开发额度控制 | 统一设置配额和预警 |
| 安全规则 | 在多个应用中重复实现 | 集中配置输入输出防护 |
| 故障排查 | 汇总多个系统的日志 | 按Trace ID等条件查询调用 |
统一接口能减少重复接入工作,但模型之间的参数、上下文长度和输出能力仍有差异。更换模型后,工具调用、结构化输出和流式响应需要重新验证。
管理页面怎样对应实际调用
模型与供应商管理 保存模型、厂商、供应商、类型、计费方式、输入输出单价和启用状态。**能统一管理供应商,并对比供应商差价和稳定性。**连接监控显示健康状态、近期延迟、平均成功率和检测时间,帮助管理员观察上游服务。
身份与额度管理通过企业Token关联用户、项目和权限范围。配额支持日、月和总量设置,并可配置预警阈值。
安全与审计覆盖IP允许与拒绝、输入防护、输出过滤和数据脱敏。API日志支持按Trace ID、Token、用户、模型、状态和时间检索,查看供应商、用量和耗时。
财务与成本管理按部门、项目和日期展示消耗、费用趋势、预测及排行,并支持明细导出。这些数据可用于预算分配、异常消耗排查和模型选型评估。
从接入走到业务可用
接入时,管理员配置模型服务和企业Token,业务系统修改调用地址与凭证。随后用真实业务请求验证普通问答、流式输出、结构化结果和工具调用,并检查日志中的模型、项目、状态及用量是否正确。
本地模型还需要先由推理服务提供可调用的API。MAI Gateway负责接入和调用管理,模型加载、推理运行与资源扩容由推理平台负责。