MAI Gateway能做故障转移。当上游模型出现超时、限流、服务不可用或延迟过高时，网关可以按照预设策略，将调用切换到备用模型或备用供应商。
MAI Gateway具备主备路由、动态负载均衡、健康检测以及故障恢复后重新加入调度的能力。
一、故障转移怎样完成
业务系统调用网关提供的统一接口，由网关选择实际承接请求的模型服务。管理员事先配置主链路、备用链路和路由策略，上游异常时，网关据此调整请求去向。
整个过程可以理解为以下顺序。
请求进入网关 → 检查权限与配额 → 选择主链路 → 判断调用状态 → 异常时选择备用链路 → 返回结果并记录日志
需要区分三个容易混用的概念。
| 机制 | 处理方式 | 主要用途 |
|---|---|---|
| 重试 | 再次向某个服务发起请求 | 应对短暂网络波动或偶发失败 |
| 负载均衡 | 将请求分配到多个可用服务 | 分散流量，降低单条链路压力 |
| 故障转移 | 将调用转向备用服务 | 应对主链路不可用或性能异常 |
MAI Gateway资料列出了主备、高可用、成本优先和Auto虚拟模型等路由策略。选择哪种策略，应由业务对质量、延迟、成本和数据流向的要求决定。
二、哪些异常适合切换
超时、限流、宕机和延迟过高列为故障转移场景。
| 异常情况 | 处理重点 |
|---|---|
| 上游连接失败或服务不可用 | 检查备用服务是否健康、是否有剩余容量 |
| 上游限流 | 判断备用链路是否使用独立账户和额度 |
| 响应超时 | 控制总等待时间，避免多次尝试拖长请求 |
| 参数错误 | 修正请求，换模型未必能解决 |
| 企业配额耗尽 | 执行预算规则，不应通过切换绕过限制 |
备用链路如果与主链路共用同一账户、同一限额或同一故障节点，两条配置仍可能同时失效。
三、跨模型切换需要保留什么
同一模型切换供应商，与切换到另一种模型，影响范围不同。
前者重点检查接口、上下文长度、计费和服务容量。后者还要检查工具调用、结构化输出、多模态输入以及答案质量。统一接口可以减少应用改造，无法保证不同模型的行为完全一致。
流式输出也需要单独验收。请求尚未返回内容时，可以评估重新发起调用；已经输出部分文字后，不能默认把另一模型的答案接在后面。涉及下单、发消息等工具操作时，还应由业务系统防止重复执行。
四、怎样证明故障转移有效
在测试环境中模拟超时、限流和主链路中断，检查请求是否进入指定备用服务，同时核对总耗时、结果完整性、实际模型和费用记录。
MAI Gateway的连接监控可查看健康状态、近期延迟和平均成功率，API日志可按Trace ID检索调用。验收还应确认当前版本能否呈现各次尝试及切换原因，便于解释一次请求为什么变慢、为什么改走备用链路。