安全第一与合规治理：魔芋 AI 正式发布企业级大模型网关 Mai Gateway

在现代企业业务创新中，人工智能（AI）正逐步成为关键驱动力。随着大语言模型的发展，企业应用架构已从传统的微服务、云原生架构，加速向AI原生架构演进。在此过程中，企业在AI集成、系统稳定性、安全合规及管理复杂性方面面临诸多挑战。

为了帮助企业安全、高效地落地 AI 应用，魔芋 AI（MoYu AI）正式推出重磅核心产品------Mai Gateway（大模型网关）。作为企业 AI 应用与模型服务、工具及其他 Agent 之间的核心连接组件，Mai Gateway 通过提供协议转换、安全防护、流量治理和统一观测等能力，协助企业构建和管理 AI 原生应用。

一、聚焦企业应用 AI 的三大核心场景与工程挑战

企业在将 AI 落地于实际业务时，通常会涉及以下三类流量特征显著的典型场景：

AI应用访问各类模型服务： 核心在于利用模型能力进行推理与规划，保障访问链路的安全性与稳定性至关重要。
AI应用调用外部工具： 工具作为 AI 应用与外部系统交互的桥梁，通常通过 MCP 等标准化协议实现工具调用。
AI应用被外部访问： 包括被终端用户或其他 AI 应用访问，常通过 A2A 等协议实现应用间的通信。

在落地上述场景时，企业普遍面临多样化的工程挑战与技术难题：

访问模型服务的"三多两高"挑战：
- 多模型：不同供应商的 API 接口规范、认证机制存在差异，缺乏标准化的抽象层。
- 多模态：在传输协议（如 SSE、WebSocket、WebRTC）和请求响应结构方面缺乏统一标准，接口形态多样化。
- 多场景：不同业务（如实时语音与长文本理解）对延迟、限流策略和容错机制的需求各异。
- 安全要求高：面临数据泄露风险，敏感数据的传输与处理需满足严格的隐私保护与审计要求。
- 稳定性要求高：模型服务普遍存在接口限流阈值低、响应延迟（RT）和调用成功率波动大的问题。
访问工具的"精准与安全"挑战： 候选工具过多会导致 Token 消耗显著上升并引发模型误选；同时，不当调用可能扩大系统安全风险面（如 MCP 恶意投毒等新型攻击）。
访问 AI 应用的"稳定与灵活"挑战： 存在高代码、低代码、零代码等多种开发模式，导致接入方式缺乏统一标准；且 AI 输出具有不确定性，未采取有效的隔离与容错机制时，单点故障易引发连锁反应。

二、 Mai Gateway 的三大场景典型实践

针对上述挑战，Mai Gateway 作为 AI 应用与后端服务之间的桥梁，提供了完善的连接与治理方案：

1. 模型访问：统一标准与全方位防护

多模型与多模态兼容 ：Mai Gateway 支持基于模型名称、请求比例或特定 Header 的路由规则。可将不同模型供应商的协议统一转换为 OpenAI 兼容接口，实现无缝切换；同时支持代理 HTTP 和 WebSocket 协议的多模态模型调用。
多场景隔离：支持根据具体应用场景创建独立的 Model API，并为每个调用方分配唯一的消费者身份，基于消费者维度实现精细化管理。
三层安全防护：
- 网络安全：集成 SSL 证书、WAF 防护及 IP 黑白名单，在入口层抵御恶意攻击。
- 数据安全：支持消费者侧身份鉴权，避免 API Key 直接暴露；支持后端鉴权与 KMS 托管密钥，防止敏感信息在网关本地落盘。
- 内容安全 ：深度集成 AI 安全护栏，实时拦截违规内容；结合数据脱敏插件，在请求转发前去除敏感信息。
全链路可控可观测：精确记录请求来源、目标模型、Token 数量及关键指标（如首包延迟）；提供负载均衡、Fallback 机制、限流策略和缓存能力，保障系统稳定。

2. 工具访问：精准路由与细粒度授权

智能工具路由 ：同时支持接入存量 HTTP 服务和托管 MCP Server。网关可在网关侧根据请求内容自动筛选相关工具集合，仅返回与当前任务匹配的工具列表，有效减少模型推理所需的 Token 消耗并提升执行准确性。
细粒度权限配置：除支持 MCP Server 级别的调用鉴权外，还支持对单个工具进行细粒度的访问权限配置，实现基于调用方身份的精细化授权管理。

3. Agent 访问：集中化治理与容错

多平台直连与健康检查：支持直连 ACK、FC、SAE 等多种计算平台，提供主动与被动健康检查机制，自动隔离异常节点。
协议自动化升级：提供 REST 到 A2A 协议的转换能力。对于低代码构建的 AI 应用，提供统一代理接入并支持扩展二次鉴权机制。
一键全链路观测：深度集成可观测体系，一键启用覆盖应用层、MCP 工具到模型调用的完整调用链路追踪。

三、 Mai Gateway 的核心技术能力

作为企业 AI 原生架构下的基础设施总闸，Mai Gateway 在底层预置了强大的核心治理引擎：

1. 模型、MCP Server 与 Agent 统一代理

AI 服务：支持代理百炼、OpenAI、Minimax、Anthropic、Amazon Bedrock、Azure 等厂商模型，兼容基于 Ollama、vLLM、SGLang 的自建模型。
Agent 服务：支持百炼、Dify 及自定义 Agent 工作负载，支持配置 API-KEY 和 APP-ID。
多负载接入：单网关实例最多可关联 3 个容器集群，支持 MSE Nacos 注册中心、SAE 服务、DNS 解析、固定 IP 列表，以及可绕过 HTTP Trigger 直连的函数计算（FC）服务。
健康检查模式 ：内置主动健康检查 （周期性发送探测请求）与被动健康检查（结合实际请求表现评估状态）。

2. 模型与 Agent 的负载均衡和灰度发布

三种模型负载均衡能力：
1. 单模型服务 ：指定唯一大模型服务并可显式指定模型名称。
2. 多模型服务（按模型名称） ：设置模型名称匹配规则（如定义 deepseek-* 转发至 DeepSeek，qwen-* 转发至百炼）。
3. 多模型服务（按比例） ：为每个服务指定对应的模型名称及请求分配比例，适用于新模型灰度发布。
特征路由 ：Model API 和 Agent API 均支持根据特定请求特征（如特定 Header）将请求灰度路由至不同的后端服务。

3. 基于消费者等维度的鉴权、观测、限流和计量

消费者鉴权：支持在网关上创建多个消费者并分配独立凭证，支持 API-KEY、JWT 和 HMAC 三种鉴权方式，并支持凭证托管至 KMS。
多维度指标观测（智能总电表） ：精准统计并分析 QPS （细分流式与非流式）、请求成功率 、Token 消耗数/s （细分输入、输出、总计）、请求平均 RT （细分流式、非流式、流式首包RT）、缓存命中数 、限流统计 、按模型/按消费者的 Token 统计 以及风险统计。网关可基于此数据提供消费者维度的计量明细，便于资源使用计量与分账计费。
消费者限流控制：支持基于消费者、模型名称、请求 Header 等维度的限流策略，可对单位时间内的请求数、并发数、连接数及 Token 数进行限制。

4. 多维度、多模态的 AI 安全防护

支持按 API 配置启用，可防护的维度包括内容合规检测（contentModeration）、提示词攻击检测（promptAttack）、敏感内容检测（sensitiveData）、恶意文件检测（maliciousFile）以及数字水印标识（waterMark）。针对不同防护维度，可分别配置高、中、低及观察模式等独立的拦截策略。

点击下方魔芋AI链接，新用户免费体验！

https://www.moyu.info/register?aff=RACy