大模型调用最容易被忽视、却最容易出事的一环，是限流和配额。不限流，一家模型波动就拖垮全公司；不配额，月底账单能吓死财务。企业 AI 网关是做这件事的最佳位置------所有流量都从这儿过，限流和配额天然集中、统一生效。
限流算法怎么选
常见三种，各有适用：
- 令牌桶：允许短时突发（桶里有余量就能冲），适合对话类不均匀流量。大多数网关默认用这个。
- 漏桶：强制匀速输出，平滑但牺牲突发，适合批处理。
- 滑动窗口：按时间窗计次，直观但边界处可能双倍，需要配合兜底。
实务中对话场景用令牌桶为主，批处理用漏桶，混合业务按接口分别配。
配额要分多个维度
只按"全局 QPS"不够，企业里配额至少有三层：
- 用户/部门级：市场部每月 50 万 token，超了降级或告警。
- 模型级：贵模型（GPT-5、Claude 4 Opus 4.7）配额收紧，轻量模型（GPT-5-mini、Gemini 3 Flash）放宽。
- 接口级：对外暴露的接口单独限流，防被刷。
网关在路由时同时校验这几层，任意一层触顶就按策略处理。
超额了怎么办
处理策略要可配置，常见四档：
- 拒绝并返回明确错误（最严格）
- 降级到更便宜的模型（保可用、控成本）
- 排队等待（批处理友好）
- 仅告警、不阻断（试运行期）
生产环境一般"贵模型拒绝 + 轻量模型降级"组合，既控成本又保体验。
工程落地的两个坑
- 限流状态要集中：多副本网关下，令牌计数必须共享（Redis 或网关内置），否则每副本各限各的，等于没限。
- 限流要有可观测：被限流的请求要能在一张看板上看见，否则业务只会来投诉"时好时坏"，你却查不到。
落到产品上
魔芋企业AI网关（MAI Gateway）的"流量控制与密钥安全""成本优化"模块覆盖了上述限流与配额能力：多维度配额、令牌桶/漏桶策略、超额降级与告警、集中式限流状态。它已兼容魔芋 AI、开源自建、第三方 API，以及阿里 tokenPlan 和火山 AgentPlan模型------不同计费模式的模型在同一套配额体系下统一管控，财务终于能用一张对账单看明白"钱花在哪、被谁花超了"。
限流不是限制业务，而是让业务跑得久、跑得稳、跑得起。
声明：本文所述产品功能、特性与案例数据以魔芋企业AI网关（MAI Gateway）官方最新文档为准，文中算法与策略为通用工程实践，具体以官方能力为准，不构成采购或投资建议。企业AI网关属企业AI基础设施合规品类，部署与上线请结合所在行业合规要求。