MAI Gateway支持两种部署形态：单机版（All-in-One）和集群版（水平扩展+高可用）。选择哪种取决于并发规模和高可用要求。
一句话结论：单机版可稳妥支撑约450并发（在途请求）的日常使用；超过此规模或需高可用时采用集群版，通过增加网关副本近似线性扩展，可支撑数千乃至上万并发。
需要理解一个关键前提：MAI Gateway是纯中转服务，自身资源开销极低。实际承载上限主要由并发在途请求数与上游大模型厂商的响应速度决定，而非服务器算力。这意味着网关本身不会成为瓶颈------瓶颈在上游模型。
部署架构：三区隔离
MAI Gateway的部署架构分为三个区域，实现内外隔离和统一出口：
Zone A：企业内网。 内部应用和终端位于此区域，包括AI应用、AI提效创作工具、Dify/AI平台、Agent编排工作流、自研业务应用、智能客服/知识库/RAG、研发和办公终端。这些应用统一通过企业防火墙接入MAI Gateway，公网完全屏蔽。
Zone B：DMZ。 MAI Gateway部署于此区域，承担鉴权、限流、密钥统一分发、智能路由、容灾、配额预算管控和全链路日志审计。网关对内分发密钥、对外对接异构模型，实现公网与企业内网完全隔离。
Zone C：模型供应方。 包括国内公有云LLM（Qwen、DeepSeek、GLM）、海外公有云LLM（Anthropic、OpenAI）、第三方API中转平台、云算力设备和本地开源LLM（DeepSeek、Qwen私有化部署）。网关在此区域完成模型接入和协议转换。
数据脱敏在Zone B完成------请求到达Zone C之前，敏感字段已被mask处理，公网零暴露。
完整调用流程
一次请求从发起到返回，经过网关的六个环节：
- 应用发起请求：App/Agent/Code向网关发起调用
- 鉴权验密：Key校验、IP白名单检查
- 配额预算校验：检查剩余额度、RPM、TPM
- 智能路由分发：按成本、延迟、可用性选择模型和链路
- 对接上游模型：发送请求到国内/海外/私有模型
- 计量留痕返回：记录日志、生成报表、返回结果
其中第4步的智能路由具备故障自动切换能力------上游接口超时、限流或宕机时，自动切换到备用链路，业务感知不到上游波动。链路质量检测主动检测上游模型可用性，异常模型自动降级和下线。链路自愈在模型恢复时自动重新加入分发，无需人工干预。
部署形态：单机版与集群版
MAI Gateway支持两种部署形态：单机版（All-in-One）和集群版（水平扩展+高可用）。选择哪种取决于并发规模和高可用要求。
一句话结论：单机版可稳妥支撑约450并发（在途请求）的日常使用；超过此规模或需高可用时采用集群版，通过增加网关副本近似线性扩展，可支撑数千乃至上万并发。
需要理解一个关键前提：MAI Gateway是纯中转服务，自身资源开销极低。实际承载上限主要由并发在途请求数与上游大模型厂商的响应速度决定，而非服务器算力。这意味着网关本身不会成为瓶颈------瓶颈在上游模型。
单机版：All-in-One部署
单机版将网关、数据库和Redis部署在同一台服务器上。网关运行单进程，承担鉴权、选渠道、计费、护栏和日志功能。MySQL作为主数据和日志库（可分离），Redis用于配额和缓存加速（可选）。
网关、数据库、Redis同机部署，运维最简单。数据库与Redis也可按需外挂到独立机器。适合450并发以内、对高可用无强要求的场景。
单机版服务器配置对照表
真正决定上限的是并发在途请求数（≤450安全）。压测显示网关中转层p99延迟低于30毫秒，CPU和内存余量极大。上表配置主要为稳定性与突发余量。并发逼近450时已进入拐点过渡带------尾延迟可能升高，建议转集群版。存储按含调用日志长期留存估算，日志量大时可再上调。
集群版：水平扩展+高可用
集群版引入负载均衡（Nginx或SLB），在负载均衡后部署多个网关副本。网关本身无状态------会话、配额、缓存由共享的MySQL和Redis承载。只有Master节点承担告警监控类后台任务，Slave副本是纯请求转发节点。
扩展逻辑：网关本身无状态，只需在负载均衡后增加Slave副本即可近似线性提升承载能力。数据库与Redis随总规模同步升配。副本数可随业务增长在线增减，无需停机。
集群版规格对照表
单副本按承载375并发（安全上限450打8折留冗余）计。网关副本统一推荐8核16GB------中转服务，单副本即可跑数百并发。数据库与Redis随规模升配。
高可用机制
集群版任一网关副本故障，负载均衡自动摘除，其余副本继续服务，业务无感知。副本数可随业务增长在线增减，无需停机。数据库采用主从读写分离，独立日志库。Redis采用集群模式，跨副本共享缓存和配额数据。
容量数据来源
以上配置数据来自MAI Gateway全模态压测报告（2026-06-29）。5轮稳态取均值，拐点633±89虚拟用户，稳态848±130请求/秒，错误率恒0。
单机安全并发450是指在途请求数------同一时刻正在处理中的请求数。不是QPS，不是日调用量。450个在途请求意味着同一时刻有450个请求正在等待模型返回。
如果上游模型响应快（比如2秒），450在途请求对应的QPS是225。如果上游模型响应慢（比如30秒），450在途请求对应的QPS只有15。所以"450并发"对应的实际吞吐量，取决于模型响应速度，而不是服务器算力。这就是为什么文档说"实际承载上限主要由并发在途请求数与上游大模型厂商的响应速度决定"。
选择依据不是调用量，是高峰并发在途请求数。如果业务有明显的峰值特征（如客服系统在促销期间并发激增），按峰值估算而非均值。如果对可用性有要求（如客服不能中断），即使并发不高也建议集群版------高可用的价值不在日常，在故障时。
部署步骤
第一步：环境准备。 根据并发规模选择服务器配置。
第二步：部署网关。 单机版一键安装，网关、MySQL、Redis同机启动。集群版先部署数据库和Redis集群，再部署Master节点，最后添加Slave副本。
第三步：接入模型。 在网关后台添加模型来源（魔芋API、直连供应商、私有化模型或自定义），填写Base URL和API Key。
第四步：配置负载均衡。 集群版在网关副本前配置Nginx或SLB，设置健康检查，故障副本自动摘除。
第五步：签发令牌。 为应用和用户签发令牌，设置权限范围和配额上限。业务系统将Base URL改为网关地址，API Key改为网关令牌。
第六步：验证。 发起测试调用，在日志审计页面确认调用链路，在消费总览页面确认费用归因。
实施路线图
部署完成后，建议分三阶段推进治理落地：
**第一阶段：接入与监控（1-2个月）。**将所有API调用统一接入网关，完成全量API密钥配置。上线全链路成本监控和可视化报表，让每一笔调用可追溯。目标：建立清晰的成本视图，消除管理盲区。
第二阶段：核心优化（2-3个月）。 上线智能路由和三级缓存机制，减少无效请求。配置请求过滤规则，拦截高频低价值调用。目标：预计降低30%-50%的调用成本，快速兑现项目的直接经济收益。
**第三阶段：深度优化与扩展（持续迭代）。**上线批量处理和动态参数控制，探索精细化路由策略。根据业务发展灵活扩展新的网关功能模块。目标：达成成本极致优化，支撑AI应用等高并发场景的稳定运行。
治理的五大原则
以上部署和实施路线围绕五条核心原则展开：
统一网关+智能路由： 所有AI请求过统一网关，按业务难度匹配对应模型，简单任务禁用高价大模型。
全量缓存+提示词压缩： 高频问答语义缓存、精简Prompt、多轮对话上下文压缩，减少Token重复消耗。
配额+熔断刚性管控： 按部门/项目/用户设置调用额度，分级成本预警，超限自动熔断关停调用。
场景适配+ROI考核： 按需选型，不盲目用顶配大模型，AI成本绑定业务营收，定期核算投入产出。
成本分摊+全链路审计： 算力成本精准拆分至各业务线、项目、用户，异常调用溯源审计，每一分费用都有据可查。
这五条原则是MAI Gateway的方法论底座，也是产品所有能力的来源。如果你想了解更多，欢迎联系我们咨询详情，有机会获得企业级AI网关的试用！