私有化 AI 基座的三层分工：环境层、管控层、网关层各自解决什么

背景

2026 年 10 月 13 日，深圳，润迅在私有化 AI 基座发布会暨润迅 AI 生态交流会上发布面向企业私有化场景的 AI 基座，方案基于三十余年数据中心与系统集成经验。会上，AI 产品负责人隋成龙把落地路径概括为三道关：环境关、部署关、核算关。

非厂商立场，以下为基于公开信息的工程拆解，涉及取舍与代价的部分为第三方分析。

三道关的原始表述

• 环境关：驱动、CUDA 版本和容器配置繁多，多家厂商软硬件需逐一联调
• 部署关：没有统一运维平台，各部门用命令行各自启动模型，故障难排查、操作难审计
• 核算关：多个部门同时调用模型，缺权限隔离和用量统计，算不清 AI 投入换来了什么

三层职责划分

层	定位	主要职责	交付形态
环境层	基础操作系统	操作系统、算力驱动、容器镜像与运行时预置联调完成	随整机预装，上架即可调用算力
管控层	统一运维平台	推理引擎纳管与调度、模型生命周期、资源监控、审计	平台化部署
网关层	企业模型网关	本地与外部模型统一入口、按用户和应用分配额度、费用追溯	统一调用入口

对应到产品形态：环境层是 XunOS 基础操作系统，管控层是 MaxControl 统一管控平台，网关层是 MaxModel 模型网关。

企业自建常见做法 vs 三层各自解决什么

环节	自建常见做法	对应层能力	差异与适用判断
环境搭建	逐台装驱动、对 CUDA 版本、配容器运行时	软硬件预先适配，兼容主流 GPU 与国产 GPU、x86 与 ARM；整站维护	预适配的收益体现在硬件批次变化时的环境一致性，型号稳定的场景差异不明显
模型来源	各自从 Hugging Face、ModelScope 拉权重	对接开源社区，Qwen、Llama、DeepSeek 等本地部署	多来源时版本与权限由谁管，是自建同样要回答的问题
引擎管理	Ollama、llama.cpp、vLLM、SGLang 各自启动	统一管理推理引擎，集中调度	多框架并存时，全局视图要么自建要么外购，区别只在投入方式
生命周期	命令行启动 / kill 进程	部署、启动、停止、下架一键完成	操作是否留痕，直接影响事后能否追溯
资源监控	各看各的 nvidia-smi	实时显示 CPU、内存、显存、网络吞吐	单点监控与全局视图是两个粒度，按集群规模决定是否需要后者
计量配额	通常需自行实现统计	为每个用户、每个应用设定调用频次、Token 额度和并发上限	费用能否追溯到部门和应用，决定了 ROI 能不能算出来
外部模型	各业务自行对接	按安全策略接入外部商用模型，数据是否出内网由企业决定	安全边界集中定义，代价是多一层策略配置

关于标准

润迅参与编制《人工智能操作系统通用技术要求》《人工智能操作系统权限管理要求》两项国家标准。

落地路径

一次建设、后续复用：新增部门、模型或设备，可沿用首次建设的环境、平台和管理规则。建议政企客户分三步：

1. 盘点现有资产------算力设备和网络环境
2. 选定一个场景------问题最明确、效果最易衡量的
3. 部署验证------完成环境接入和模型部署，用业务产出检验效果

需要提前评估的三点

• 抽象层的绑定成本：统一管理带来效率，也带来依赖。接口与数据结构的绑定需在选型阶段评估。
• 计量口径对齐：不同推理框架 Token 计数方式有差异，跨引擎汇总时偏差被放大。
• 规模适配：设备少、调用方单一的场景，三层未必都需要。优先补计量与审计。