要看懂AI网关在架构中的位置,最好的办法是把它上下左右里都看一遍:上面连着什么,里面装着什么,下面接着什么。看完全景,"位置"这个词就不再是抽象概念,而是一张具体的拓扑图。
上面:企业AI应用
网关的正上方,是所有发起大模型调用的企业AI应用:业务系统、自动化智能体、办公助手、AI编程工具。它们是调用方,也是网关的服务对象。
对这一层,网关呈现为一个统一入口。对于兼容OpenAI接口规范的应用,接入方式是替换Base URL和API Key------协议转换在网关层完成,业务系统不感知供应商差异。应用不需要知道背后连了哪些模型、走的是哪家链路,它只管发请求。
里面:四层架构
网关自身从上到下分四层,每层管一段。
第一层,应用层:统一入口。 所有调用从这里进来,身份校验、协议适配在入口完成。
第二层,分发与管理层:组织和配额。 组织架构从钉钉、飞书、企业微信和AD同步;内部应用使用网关签发的受控令牌;配额按企业、组织、部门、项目、用户、令牌或模型设置,控制金额、Token数量、请求频率、并发数四个维度。
第三层,智能调度层:路由和故障切换。 三种路由模式------默认路由按权重分配供应商流量,主备路由在主链路异常时切换备用服务,成本路由把符合条件的任务分配给费用较低的模型。系统定期检查链路状态,链路超过延迟阈值、连续报错或不可用时临时下线,恢复后重新加入路由。
第四层,模型与算力接入层:连接公共API和本地GPU。 这是网关与外部世界的接壤处,支持公共模型与本地算力混合使用:敏感数据走本地模型,非敏感数据走公共模型,路由规则在网关层配置。
下面:模型供应商的世界
网关的正下方,是它连接的所有模型资源。大模型管理页面显示已接入557个模型,其中411个在线运行,平均响应时间16ms。每个模型在统一目录中记录名称、供应商、状态和调用入口。

供应商的形态不止一种:直连的模型API、聚合多家的模型平台、企业自有的本地GPU。形态不重要,重要的是它们都被抽象成网关目录里的一个条目------对上面三层来说,调用谁都一样。
一个关键辨析:网关和MaaS平台不是一个东西
位置图上最容易认错的一对邻居,是AI网关和MaaS平台。MaaS平台把模型聚合起来提供调用服务,本身是"模型商店"。MAI Gateway(魔芋企业级AI网关)实际位于MaaS平台的上游------企业应用连接网关,网关再连接模型供应商。模型平台是网关下游的供应商形态之一。
这个上下游关系的实际意义:换了模型平台、某家API改成直连、新加了本地GPU,应用侧一行代码都不用改------变的只是网关下面的接线,入口纹丝不动。所有调用的身份校验、配额检查、安全处理、路由选择、费用记录和日志留存,都发生在网关这一层,不发生在上游应用,也不发生在下游供应商。
位置的必然性:闭环只在必经之路上成立
为什么计量、管控、审计偏偏要放在这个位置?因为它们都依赖同一件事:流量完整性。日志审计页面留存的110,946条API请求记录,每条包含10个字段:时间、所属令牌、所属供应商、模型、部门/项目、总Token、金额、请求内容、响应内容、操作。这张表能拼出来,前提是每一次调用都经过了同一个地方。

而且这张表不是存完就完------审计数据反过来驱动上面几层的调整:发现高耗用户,配额规则收紧;发现某条链路延迟上升,路由权重调整;发现敏感信息命中脱敏规则,安全策略加强。位置站在所有调用的必经之路上,数据才完整;数据完整,反馈闭环才转得起来。
全景总结
把整张图合起来:上面是企业AI应用,通过统一入口进来;里面是四层架构------应用层收口、分发管理层管组织和配额、智能调度层选路、模型与算力接入层连接外部资源;下面是557个模型的供应商世界。安全防护和成本治理贯穿其中,审计数据回流驱动策略优化。
MAI Gateway(魔芋企业级AI网关)由武汉魔芋数字有限公司开发,支持私有化部署,调用数据不经过外部服务器;产品提供三个软件版本(标准版、企业版、旗舰版)和两个软硬件一体机系列(G系列无本地GPU、S系列带本地GPU)。企业AI流量治理的工程实现,就落在这张位置图上。