MAI Gateway私有化部署全攻略:大模型网关接入DeepSeek?附架构图

企业接入 DeepSeek,单个应用只需要配置接口地址、API Key 和模型名称。多个部门共同使用时,还可以解决密钥分发、访问权限、费用归属和故障排查。

MAI Gateway 支持接入 DeepSeek,并向业务系统提供统一的 OpenAI 兼容接口。部署时,应当先确定模型运行在哪里,再安排网关、网络出口和业务应用的位置。

一、先分清两种私有化部署

"网关私有化"和"模型私有化"对应不同的部署范围。

对比项 私有网关接入 DeepSeek 公网 API 私有网关接入本地模型服务
网关位置 企业机房或私有云 企业机房或私有云
模型推理位置 DeepSeek 云端 企业内部推理服务器
请求是否经过公网 会,网关需要访问外部接口 可以完全走内网
是否需要自备推理算力 调用方无需部署推理 GPU 需要准备模型运行资源
主要运维任务 网关维护、出口管理、密钥与额度管理 额外承担模型部署、算力调度与推理服务维护
适用需求 集中管理企业对公网模型的调用 数据不能发送到外部、离线运行

私有网关调用公网模型时,发送给模型的内容仍然会离开企业网络。要求数据始终留在内网的业务,应当使用本地推理服务,同时关闭不符合要求的外部模型路由。

二、推荐部署架构

下面是一套参考部署拓扑,区分业务入口、管理入口和模型出口。

复制代码
                     企业网络
┌──────────────────────────────────────────┐
│                                          │
│  业务系统 / Agent / 知识库应用             │
│                │                         │
│                │ HTTPS + 应用令牌         │
│                ▼                         │
│          企业内部访问入口                 │
│                │                         │
│                ▼                         │
│           MAI Gateway                    │
│                │                         │
│        ┌───────┴────────┐                │
│        ▼                ▼                │
│   受控网络出口      内部模型服务           │
│        │          本地部署的模型          │
│        │                                 │
│  管理员 → 受限管理入口 → 网关控制台        │
│                                          │
└────────┼─────────────────────────────────┘
         │ HTTPS
         ▼
  DeepSeek 公网 API

这张图中,应用只访问企业网关;管理员通过受限入口维护配置;公网模型调用集中经过受控出口。

生产环境可以在业务入口后部署多个网关实例,但实例数量不能单独证明高可用。入口负载均衡、配置一致性、存储可用性和故障恢复都需要一起验证。

三、软件部署和硬件部署怎么选

MAI Gateway 提供 G 系列软件网关和 S 系列硬件网关。G 系列支持 Docker、Kubernetes 部署;S 系列采用软硬件预装的一体机形态。

选择维度 G 系列软件网关 S 系列硬件网关
基础设施准备 准备服务器或容器运行环境 准备机柜、电源和网络
部署工作 导入部署包、配置运行环境 完成设备接入与初始化
运维重点 容器、资源、版本和持久化配置 设备、网络、软件版本和备份
选择建议 已有成熟容器平台时优先考虑 希望统一采购软硬件时考虑

是否使用硬件网关,与是否调用公网模型是两个独立决定。硬件设备放在机房里,也不会自动把公网推理变成本地推理。

四、按依赖顺序完成部署

第一步,准备部署材料和网络

部署前先整理下面这张表。

准备项 需要落实的内容
安装材料 对应版本的部署包、配置说明、升级与回退方法
运行环境 按部署包要求准备 Docker 或 Kubernetes
访问地址 业务 API 地址与管理入口地址
HTTPS 域名、证书、证书更新责任人
网络出口 网关到 DeepSeek API 的 DNS 解析和 HTTPS 访问
持久化 配置、日志等数据的保存位置和备份安排
凭证 上游 DeepSeek API Key、网关管理员账号

网络检查应当从网关所在的运行环境发起。管理员电脑能访问 DeepSeek,不代表服务器或容器也能访问。

第二步,启动网关并收紧管理入口

使用交付部署包启动服务,先完成管理员初始化,再配置业务访问地址。

建议把管理入口限制在运维网络或 VPN 内,业务调用入口只开放给需要使用模型的系统。不要为了排查证书问题,长期关闭 HTTPS 证书校验。

首次启动后,应当检查服务重启是否保留配置,日志是否写入预定位置,备份是否能够恢复。

第三步,配置 DeepSeek 上游

采用 OpenAI 兼容方式接入 DeepSeek 公网 API 时,上游基础地址为 https://api.deepseek.com,鉴权使用 DeepSeek 平台申请的 API Key。

这里要区分三种信息。

信息 使用位置 用途
DeepSeek API Key 网关的上游配置 网关访问 DeepSeek
网关应用令牌 业务应用后端 应用访问 MAI Gateway
网关管理员账号 管理控制台 维护配置与权限

上游密钥不应分发给每个业务系统,也不应放进浏览器前端代码。

第四步,先接一个测试应用

先配置一个模型、一个测试应用令牌和一条简单请求。确认能够返回文本,再增加其他模型和业务系统。

测试时使用不含真实客户信息的内容。先排除网络和鉴权问题,再验证流式输出、长文本及业务参数,排查路径会清楚得多。

五、上线验收要同时检查成功与拒绝

建议把下面这些测试写进上线清单。

测试 预期结果
有效令牌调用授权模型 返回正常结果
无效令牌发起请求 被拒绝,能够定位原因
使用未授权模型 被权限规则拦截
网关重启 配置保留,服务恢复
上游调用失败 应用得到可处理的错误
流式生成长回答 内容持续返回,没有被入口代理整段缓存
恢复备份 能在测试环境恢复必要配置

部署验收应当包含一次失败请求的完整排查。运维人员需要能判断,请求到底停在业务入口、网关鉴权、网络出口,还是 DeepSeek 上游。做到这一点,再逐步扩大业务接入范围。

相关推荐
deepseek2315 小时前
美团LongCat-2.5拆解:同架构Terminal Bench 4.0从3.0飙到38.5,长程强化学习的账单怎么算
大模型·ai agent·美团longcat
todoitbo1 天前
我在 Mac 上用 Docker 部署 Nexent:从拉取镜像到接入模型
macos·docker·大模型·ai智能体·nexent·快速入门与环境准备
承渊政道1 天前
Open-LLM-VTuber本地部署教程:大模型、语音交互、Live2D与远程访问
大模型·内网穿透·数字人·cpolar·语音交互·open-llm-vtuber
香吧香1 天前
当系统开始自己做判断:智能运维里的日志,为什么不能照搬传统那套
大模型
nice_lcj5201 天前
【从零理解 Spring AI · 03】Spring AI 在 Spring 生态里的位置
java·spring boot·大模型·spring ai·ai应用开发
组工部管理能手李哥2 天前
一次政务知识库体验:AI回答之外,我更在意那行引用来源
大数据·人工智能·大模型·政务
Flynn Liang2 天前
AgentScope Java 深度解析:ReActAgent、HarnessAgent 与多智能体编排——JVM 上的自治 Agent 底座
java·大模型·架构设计·ai agent·spring ai·langchain4j·agentscope
香吧香2 天前
彻底理解RRF混合检索的实现机制和流程
大模型
隔窗听雨眠2 天前
大模型强化学习训练的工程实现与调优路径
大模型·强化学习·llm训练