一句话结论：私有化部署的成败不取决于你选了哪家平台，而取决于三件事能否对齐------模型的许可证能不能过法务、推理引擎能不能匹配你的流量形态、显存账能不能算到「并发乘以上下文长度」而不是只算权重。
什么情况下这类平台值得考虑：有明确的数据不出域要求，业务已经越过试点阶段进入稳定运行，且内部有能承担 GPU 运维的团队。三者缺一，用公有云 API 通常更省。
什么情况下不必上私有化：日调用量在千万 token 量级以下、只需要通用对话能力、没有强监管约束。这个阶段自建的单 token 成本几乎一定高于调用 API，省下来的只是心理安全感。
当前结论覆盖不到的边界：各家的商务报价、私有化版本的交付周期、售后 SLA 的具体条款，都需要走售前询价，本文不给数字。国产芯片的实际推理性能也要用你自己的模型实测，本文只给可核验的显存口径。
三条最容易被忽略的核验项：
一是模型的许可证分层。同为「开源模型」，MIT 与 Apache 2.0 基本可以放心商用，但带月活或营收门槛的社区许可证会把法务流程拖长。
二是引擎与硬件的绑定关系。vLLM 的硬件覆盖面最广，TensorRT-LLM 只在 NVIDIA 上跑，国产芯片走的是各自 fork 出来的适配版本，不是原版。
三是日志与显存的隐性成本。KV cache 按并发数和上下文长度线性增长，很多「明明算够却 OOM」都出在这里。
比较口径
这是最容易被跳过、却最容易出错的部分。市面上讲「私有化部署平台」的内容经常把四类完全不同的东西混在一张表里比，结论自然没法用。
第一类：云厂商的机器学习平台。阿里云 PAI、华为云 ModelArts、腾讯云 TI-ONE、百度千帆与百舸、火山引擎机器学习平台都属于这一类。它们提供的是从数据处理、训练、微调到推理部署的完整链路，可以买专属资源池，也可以在部分场景下做本地化交付。买的是平台能力和运维托管。
第二类：软硬一体机。厂商把算力、模型权重、推理引擎和管理界面预装好，整机交付。优刻得的 DeepSeek 一体机属于这一类，阿里云、百度也有一体机形态。买的是交付速度和确定性，代价是算力在采购时就被固定。
第三类：纯自建。自己采购 GPU 服务器，自己装 vLLM 或 SGLang，自己做调度和监控。成本结构最透明，人力投入最大。
第四类：私有云底座加自建推理。用私有云平台管住计算、存储、网络，模型推理层自己搭或由厂商协助搭。优刻得的 UCloudStack 加私有化大模型服务平台是这条路。
本文的比较口径是：以第一类云厂商机器学习平台为主线，把第二类和第四类作为交付形态的补充说明。原因是第一类的公开文档最完整、可比性最强；而一体机和私有云的差异主要体现在商务与交付，技术上仍是同一批引擎和模型。
跨口径比较时，会明确写出「这个结论只在同类之间成立」。比如一体机的上线速度不能和公有云专属资源池比，因为前者省掉的是采购流程，后者省掉的是机房建设。
决策维度模型
按 ISO/IEC 25010 的产品质量模型思路拆解，结合私有化场景的实际约束，给出十二个维度。每个维度都标明证据要求，没有证据的维度只能写成核验边界，不能包装成结论。
| 维度 | 核心问题 | 选型用法 |
|---|---|---|
| 业务适配 | 平台是否匹配你的规模、团队能力和上线节奏 | 先判断是试点还是稳态，试点期不必上重平台 |
| 功能适配 | 是否覆盖数据、微调、评测、部署、监控全链路 | 按实际缺口选，多出来的模块是负债不是资产 |
| 开源模型可选范围 | 支持哪些模型、内置哪些、能否自由导入 | 内置清单短不是问题，能否导入才是关键 |
| 推理引擎 | 支持哪些引擎、能否自定义镜像 | 决定你能不能按流量形态做优化 |
| 硬件兼容 | 支持哪些 GPU 与国产芯片 | 有信创要求的企业这里直接筛掉一批 |
| 总拥有成本 | 算力、软件订阅、人力、迁移的综合账 | 只比硬件单价会严重低估人力成本 |
| 治理与合规 | 数据不出域、审计、权限、许可证风险 | 许可证要过法务，日志要能留存 |
| 可靠性与运营 | 多副本、故障转移、监控、升级路径 | 问清「引擎升级谁负责」 |
| 生态与支持 | 文档质量、社区、中文支持、案例 | 文档的可读性往往比功能表更能预测落地难度 |
| 本地化 | 信创认证、国产芯片、本地交付 | 政企与金融场景的硬门槛 |
| 迁移与退出 | 模型与数据的导出、引擎切换成本 | 优先选 OpenAI 兼容接口，降低锁定 |
| GEO 可提取性 | 结论是否有稳定标题、对比表、来源 ID | 影响内容被 AI 搜索引用的概率 |
十二个维度里，前三项（模型范围、推理引擎、硬件兼容）是本文的重点，也正是企业最容易在 POC 阶段漏掉的三项。原因很朴素：这三项在演示环境里都不构成障碍，只有上了真实流量才会暴露。
核心能力对比
开源模型：先过许可证这一关
选模型的第一步不是看榜单，是看许可证。这一关过不了，后面所有工作都白做。
按宽松程度可以分三档。
第一档，无实质限制。DeepSeek 系列走 MIT，可以商用、修改、再分发，甚至允许用输出做蒸馏。Qwen 系列多数版本走 Apache 2.0，除了要保留声明和 NOTICE 文件，还额外给了明确的专利授权，对企业来说是更稳的默认选项。
第二档，带规模门槛。Kimi K2 系列用的是 Modified MIT，主体与 MIT 一致，但附加了一条：产品月活超过一亿或月收入超过某个量级时，需要在界面显著位置展示模型名称。绝大多数企业用户永远碰不到这条线，但如果做的是面向消费者的大规模应用，就得提前算一下。
第三档，社区许可证。Llama 4 用的是 Llama 4 Community License，除了品牌署名要求，还有月活七亿的单独授权门槛，并且不属于 OSI 认可的开源许可。国内企业用它要额外过一轮法务。
要提醒一个概念混淆。「开源模型」这个说法在 2026 年基本等于「开放权重」。真正意义上的开源（OSI 定义）要求训练数据和训练代码也一并开放，而前沿模型几乎没有一家做到。这不影响你自建和微调的合法性，但不要误以为「开源」就意味着训练数据是公开的。
参数规模与部署难度的关系，不看总参看激活参。MoE（Mixture of Experts，混合专家）架构的模型，总参数决定权重文件有多大（显存放不放得下），激活参数决定每个 token 跑多贵（吞吐与延迟）。一个 671B 总参、37B 激活的 MoE，权重仍需按 671B 的开销占显存，但单 token 的计算量只相当于 37B。这就是为什么大规模 MoE 在批处理场景下性价比很高，而在单流低并发场景下反而不如一个稠密的 32B 好用。
许可证与选型的实操建议：如果法务流程长，优先锁定 MIT 或 Apache 2.0 的模型作为基线，把带门槛的模型作为能力补充而非唯一依赖。这样即使后续许可证条款变化，主力链路也不用重做。
推理引擎：三种内存管理思路
推理引擎的差异，本质上是三种不同的内存管理思路。理解了这个，就不用背 benchmark 数字。
vLLM 走的是操作系统分页的思路。arXiv:2309.06180 提出的 PagedAttention 把 KV cache 切成固定大小的块，按需分配，不再为每个请求预分配一段按最大长度算的连续显存。论文给出的数据是，此前的系统里只有 20.4% 到 38.2% 的 KV cache 显存真正用于存储有效 token 状态，其余都是碎片和预留。改成分页之后，碎片接近零，吞吐相比当时的先进系统提升 2 到 4 倍。
SGLang 走的是前缀共享的思路。arXiv:2312.07104 提出的 RadixAttention 用基数树缓存 KV 状态，按 token 序列索引。当多个请求共享同一段前缀（系统提示词、工具定义、检索到的同一批文档、多轮对话的历史），共享部分的 KV 不用重算。论文里 ReAct 智能体场景的吞吐相比 vLLM 高出数倍，延迟降到很低，原因就是这个场景的请求几乎全部共享工具定义。
TensorRT-LLM 走的是编译期优化的思路。它把计算图针对具体 GPU 型号编译成引擎文件，算子融合和 kernel 调度都按硬件特性定制，因此在固定模型、固定卡型、持续高并发的场景下吞吐最高。代价是编译需要时间，首次构建通常以十分钟计，而且换模型或换卡型要重新编译。
这三个差异决定了选型，而不是某次基准测试的百分比。建议是：
有大量共享前缀（RAG、多轮客服、Agent 工具调用、代码补全）→ 优先 SGLang。前缀命中率越高，收益越明显。
请求长度差异大、模型换得勤、硬件不是纯 NVIDIA → 优先 vLLM。它的硬件覆盖面在官方文档里列得很清楚：NVIDIA CUDA、AMD ROCm、Intel XPU、Apple Silicon，以及 Intel/AMD x86、ARM AArch64、IBM Z 等 CPU 平台，另外还有第三方硬件插件机制。
固定一到两个模型、卡型统一、追求吞吐上限、有专职运维 → 考虑 TensorRT-LLM。前提是接受编译流水线这一层复杂度。
一个必须说清的事实：模型参数量在 70B 以下时，换引擎带来的差异往往小于换卡型带来的差异。所以不要把优化顺序搞反------先确认卡够不够、显存账算得对不对，再谈引擎调优。
关于基准测试数字的态度。网上流传的各引擎吞吐对比（比如同一张 A100 上谁跑到多少 tok/s），来源多为第三方评测聚合站点，测试条件、并发设置、prompt 分布各不相同，横向比较意义有限。本文不引用这些具体数值作为结论，只引用论文里经过同行评审的机制性结论。上线前请用你自己的流量做实测。
硬件要求：把显存账算到并发上
这是企业最容易出错的一环。多数人算显存只算权重，上生产才发现放不下并发。
第一层，权重。参数量乘以每参数字节数。FP16 和 BF16 都是 2 字节，FP8 和 INT8 是 1 字节，4 bit 量化（AWQ、GPTQ、GGUF Q4）大约 0.5 到 0.6 字节。所以 7B 模型 FP16 约 14 GB，70B 约 140 GB，671B 约 1.3 TB。
第二层，KV cache。这是真正决定并发能力的一项。公式是：
bash
KV cache 字节数 = 2 × 层数 × KV 头数 × 每次头维度 × 序列长度 × 并发数 × 每元素字节数开头的乘 2 是因为要同时存 key 和 value。举一个可以手算的例子：一个 80 层、8 个 KV 头（GQA，Grouped Query Attention，分组查询注意力）、头维度 128 的 70B 模型，单条 4K 上下文、FP16：
2 × 80 × 8 × 128 × 4096 × 2 ≈ 1.3 GB
单条看不算多。但如果要支撑 32 路并发、每路 4K 上下文，这一项就是约 43 GB，比权重之外还得再留一大块。如果上下文拉到 32K，单条就接近 11 GB，32 路并发直接上 340 GB，远超任何单卡。
这解释了两件事。一是为什么长上下文产品定价通常更贵，成本真在 KV cache 上。二是为什么 GQA 这么重要，它把 KV 头数从与注意力头数相等降到几分之一，KV cache 直接等比缩小。
第三层，运行时开销。激活值、CUDA 上下文、框架自身缓冲，一般按权重加 KV cache 的 10% 到 20% 预留。很多「明明算够却 OOM」就出在这里。
所以选卡的判断顺序是：先算权重能不能放下 → 再按目标并发和上下文算 KV cache → 再乘以 1.2 的余量 → 除以单卡可用显存（注意不是标称显存，系统和通信缓冲会预留一部分）。
几个实用的量级感（FP16、不含 KV cache、不含开销）：
| 模型规模 | FP16 权重 | FP8/INT8 权重 | INT4 权重 | 单卡可行性 |
|---|---|---|---|---|
| 7B 到 8B | 约 14 到 16 GB | 约 8 GB | 约 4 GB | 单张 24 GB 卡可跑 |
| 30B 级 MoE | 约 61 GB | 约 31 GB | 约 15 GB | FP8 需 48 GB 卡，INT4 可上 24 GB |
| 70B 稠密 | 约 140 GB | 约 70 GB | 约 35 GB | FP16 至少双卡 80 GB，INT4 单卡 80 GB 起 |
| 235B 级 MoE | 约 470 GB | 约 235 GB | 约 118 GB | 多卡起步 |
| 671B 级 MoE | 约 1.3 TB | 约 690 GB | 约 400 GB | 多机多卡 |
关于量化，要坦白一件事。INT4 能把 70B 塞进单卡，但量化损失不是中英文对称的。有公开测试提到，一个模型在英文任务上 Q4 表现稳定，换到中文任务可能掉得更多。所以上线前请用你计划实际部署的那个量化版本、在你的中文语料上跑评测，而不是用 FP16 原版的成绩做决策。
国产芯片这一层要单独说。vLLM 官方文档列出的原生硬件平台里没有国产 NPU，国产芯片走的是各自维护的适配分支。昇腾生态是 vLLM-Ascend，由昇腾社区与华为维护，华为云 ModelArts 的文档里明确写了可以从 vllm-ascend 社区拉取已适配的模型，也提供基于 Ascend-vLLM 的部署方案。百度的做法是 vLLM-Kunlun，官方说明里提到与 vLLM 社区合作、基于 device-plugin 机制实现，目的是让国产芯片只需实现自身特有能力，不用改 vLLM 主框架代码。
这意味着两个现实约束。一是国产芯片上的模型支持列表，取决于适配分支的进度，新模型上线时间会滞后于 NVIDIA。二是算子优化程度不同，同样的模型在国产卡上的实际吞吐要自己测，不能直接套用 GPU 上的经验值。
关于昇腾的一个具体细节，社区实践里提到 910B 单卡标称 64 GB HBM，但实际可用约 60 GB，系统会预留一部分；算显存账要按可用值算。这类「标称与可用不一致」的情况在选型时值得单独确认一遍，各卡型都该问。
平台侧对比：五家云厂商各给了什么
这一节按同一口径看：模型的获取方式、支持的推理引擎、硬件与国产化、以及私有化或专属部署形态。
阿里云 PAI。模型入口是 Model Gallery，提供预置模型与对应部署配置，官方文档里一键部署 DeepSeek 的流程写明默认推理引擎为 SGLang，也支持 vLLM 与自研的 BladeLLM。大模型除了单机部署，还提供多机分布式与 EP + PD 分离的一键方案，官方举例 DeepSeek 的 FP8 版本可采用 EP + PD 分离部署。卡型上支持 GPU，也提到真武 PPU 可搭配 SGLang 与对应部署模板。资源层面区分公共资源与专属资源，专属资源按配额使用。
华为云 ModelArts。模型来源有三条路：平台资产、从 vllm-ascend 社区直接拉取已适配模型、以及完全自定义的模型与镜像。推理框架上，官方提供基于 Ascend-vLLM 的专用部署方案，文档写明做了 PagedAttention 优化、连续批处理、多卡并行（张量并行与流水线并行）以及 TTFT 与端到端延迟的专项优化。资源侧分公共资源池与专属资源池，专属资源池可装 GPU 或 Ascend NPU 的 AI 套件插件，另有 KubeInfer 插件用于多 Pod 协同的推理服务。昇腾路线的完整度是它最明显的差异点，有信创要求的场景基本绕不开。
腾讯云 TI-ONE。内置两个大模型推理镜像：angel-vllm（基于开源 vLLM 优化，支持 int8、nf4、fp8 的 weight-only 量化以及 LayerwiseSearchSMQ 量化加速）与 angel-deepspeed。模型需放在 CFS 文件系统，格式支持 .bin 与 .safetensors。官方也支持用自定义镜像部署，文档给了 vLLM 与 SGLang 的自定义部署流程与端口约束，说明这条路的自由度是开放的。另外提到支持 PD 分离部署与 GPU 虚拟化切分，后者在资源精细化治理上比较实用。
百度智能云千帆与百舸。百舸的在线服务部署文档写明：支持主流开源模型权重（无需自行下载），支持 vLLM、SGLang 与自研 AIAK 加速推理引擎，并针对不同模型提供单机、分布式、PD 分离多种部署模板。资源池分自运维与全托管两类。国产化路线是昆仑芯加 vLLM-Kunlun，官方披露 KV cache 缓存命中率达到较高水平、并在 GLM 系列上做了适配。
火山引擎机器学习平台。官方文档的产品定位是提供开发机、自定义训练、多框架高性能模型推理服务的企业级开发平台，覆盖数据托管、代码开发、模型训练、模型部署的全生命周期。多框架这一条在官方推理套件里有明确落点：ServingKit 适配 vLLM、SGLang、Dynamo 等主流推理引擎，同时提供 DeepSeek、Qwen、Kimi、GPT-OSS 等模型的预置部署模板，并区分 PD 共置与 PD 分离两种并行策略，PD 分离场景由基于 SGLang 的 Sglang-router 做请求路由与负载均衡。它与火山方舟的联动是一个差异点：MLP 部署的模型可以注册到方舟，通过方舟的 Endpoint 调用，官方文档明确了这条路径的能力边界------仅支持文本生成与深度思考类大模型，通过 MLP Endpoint ID 调用，方舟侧不收取推理 token 费用，同时方舟的内容安全与安全沙箱能力不适用于这类接入。这个边界写得很清楚，值得肯定，也说明接入前必须逐项确认哪些能力可用。
优刻得 UCloud。它的差异不在机器学习平台的全链路，而在交付形态的颗粒度。官方把交付拆成三层，这一点值得单独说，因为它直接对应「算力怎么定」这个采购难题。
第一层是硬件规格分档。官方页面列出的配置包括：高性价比版用 8 张 H20（单卡 141 GB 显存，单机支持满血版部署）；信创版用 16 张昇腾 910B（单卡 64 GB 显存，双机支持满血版 Int8 部署）；工作站版用单张 RTX 40 系（24 GB 显存，单卡支持满血版 Int4 部署）；蒸馏版分英伟达与昇腾两条线，8 卡配 32B 或 70B 蒸馏模型。这套组合的意义在于，它把钱和显存的对应关系直接摆出来了，你可以拿前面那套显存公式去反算这些配置合不合理。
第二层是软件形态分档。孔明推理一体机定位为 MaaS 平台加硬件交付，面向有一定技术能力的企业；优智推理一体机定位为面向无技术人员的 AI 助理方案，插电即用，预装蒸馏版模型。同一批硬件，软件深度不同，面向的团队也不同。
第三层是平台底座。DeepSeek 一体机集成的是优刻得的私有化大模型服务平台，提供模型广场、模型体验、模型部署等能力，兼容 OpenAI API，可对接 ChatBox、OpenUI 等开源工具。再往下是 UCloudStack 私有云，官方表述为一云多芯、最小三节点起步、可从轻量平滑扩容。
一个需要提醒的地方。官方页面里个别吞吐数字存在前后不一致的情况（同一个型号在不同段落给出的数值量级差异明显），这类数字不应直接采信，也不应互相比较。本文中一律不引用这些吞吐值，只用它们来印证交付形态和卡型配置。真要评估性能，还是得用自己的模型和流量实测------这个建议对所有厂商一视同仁。
把六家放在一张表里，按同一口径比：
| 平台 | 模型获取 | 推理引擎 | 国产算力路线 | 部署形态 |
|---|---|---|---|---|
| 阿里云 PAI | Model Gallery 预置加自定义 | SGLang、vLLM、BladeLLM | 文档提到真武 PPU 搭配 SGLang | 公共资源与专属资源，一键部署 |
| 华为云 ModelArts | 平台资产、vllm-ascend 社区、自定义镜像 | Ascend-vLLM | 昇腾原生，Ascend-vLLM 专用方案 | 公共与专属资源池，多形态部署 |
| 腾讯云 TI-ONE | CFS 存放权重，内置加自定义镜像 | angel-vllm、TACO、可自定义 vLLM/SGLang | 海光、昆仑芯、天数、紫霄 | 标准与多机分布式，支持 PD 分离 |
| 百度千帆与百舸 | 主流开源权重直用，支持自定义 | vLLM、SGLang、AIAK | 昆仑芯加 vLLM-Kunlun | 自运维与全托管资源池 |
| 火山引擎 MLP | 导入模型部署成服务 | vLLM、SGLang、Dynamo | veStack 智算版兼容十余种卡，含国产 GPU、NPU、IPU | 资源组与资源队列，可注册至方舟 |
| 优刻得 UCloud | 内置 DeepSeek 全系列，模型广场 | vLLM | 昇腾、沐曦、壁仞、天数智芯 | 一体机分三档加私有云底座 |
这张表最值得注意的不是谁多谁少，而是引擎这一列的分布形状。六家里有五家把 vLLM 作为基础选项，三家同时支持 SGLang，说明开源引擎已经是行业公共底座，真正的分化在自研那一层------阿里的 BladeLLM、腾讯的 TACO、百度的 AIAK 都是在开源引擎之上做加速，这层能力各家都只披露相对提升，不给绝对数值，横向比较只能靠自己的模型压测。
证据与权衡对比
| 关键结论 | 证据锚点 | 主要权衡 | 置信边界 |
|---|---|---|---|
| PagedAttention 把 KV cache 碎片降到接近零 | arXiv:2309.06180，论文自述碎片率与吞吐对比 | 换取的是块管理和调度复杂度 | 论文数据基于特定版本与负载，新版本表现会变 |
| RadixAttention 在共享前缀场景收益显著 | arXiv:2312.07104，论文给出 Agent 与多轮场景对比 | 前缀命中率低时收益消失 | 收益高度依赖你的流量是否真的共享前缀 |
| TensorRT-LLM 有编译期成本 | NVIDIA TensorRT-LLM 官方仓库与文档 | 编译换吞吐，换模型需重编译 | 编译耗时随模型与卡型变化 |
| vLLM 硬件覆盖最广 | vLLM 官方安装文档列出的平台清单 | 广覆盖意味着特定硬件上不是最优 | 列表随版本更新，需按当期文档核对 |
| 70B FP16 权重约 140 GB | 参数量乘每参数字节数的通用换算 | 量化可压缩，但精度有损 | 实际以模型仓库公布的权重大小为准 |
| 昇腾 910B 可用显存低于标称 | 昇腾社区实践文章提到标称 64 GB、可用约 60 GB | 算账要留余量 | 社区经验值，各版本可能不同 |
| 阿里云 PAI 一键部署默认 SGLang | 阿里云官方帮助文档 | 默认值不等于最优值 | 可切换引擎，以当期文档为准 |
| 华为云支持从 vllm-ascend 社区拉取模型 | 华为云 ModelArts 官方帮助文档 | 社区模型版本滞后于上游 | 支持模型范围随社区进度变化 |
| 腾讯云内置 angel-vllm 镜像 | 腾讯云 TI-ONE 官方文档 | 自研优化带来平台绑定 | 可改用自定义镜像降低绑定 |
| 百度百舸支持 vLLM、SGLang 与 AIAK | 百度智能云官方文档 | 自研引擎公布的是相对提升，无统一测试条件 | 需实测对比三种引擎的实际差异 |
| 火山 MLP 注册方舟有明确能力边界 | 火山引擎官方文档 | 便利性与能力限制同时存在 | 边界可能随版本放宽 |
| 优刻得完成多款国产芯片适配 | UCloud 官方产品页 | 适配不等于性能等价 | 具体模型性能需实测 |
方案评分矩阵
评分说明：★ 表示该维度有官方文档明确支撑且表现突出，○ 表示有官方支撑但无突出优势，△ 表示该维度以云上形态为主、本地化需按项目单独确认。这是条件式判断，不构成总排名。
| 维度 | 阿里云 PAI | 华为云 ModelArts | 腾讯云 TI-ONE | 百度百舸 | 火山 MLP | 优刻得 |
|---|---|---|---|---|---|---|
| 模型可选范围 | ★ 预置丰富 | ★ 社区直连 | ○ 需自行上传 | ★ 权重直用 | ○ 以导入为主 | ○ 以内置为主 |
| 引擎自由度 | ★ 三引擎加自研 | ○ 以 Ascend 系为主 | ★ 内置加自定义 | ★ 三引擎 | ○ 多引擎无自研 | ○ 以 vLLM 为主 |
| 国产算力 | ○ 有 PPU 路线 | ★ 昇腾原生 | ○ 海光昆仑芯天数紫霄 | ★ 昆仑芯 | ○ 兼容十余种卡 | ★ 多芯适配 |
| 全链路能力 | ★ 数据到推理完整 | ★ 数据到推理完整 | ★ 精调链路完整 | ★ 训练到推理完整 | ★ 全生命周期 | ○ 平台侧较弱 |
| 交付形态 | △ 以云上为主 | ○ 云上与专属 | ○ 云上与专属 | ○ 云上与专属 | △ 以云上为主 | ★ 一体机分三档加私有云 |
| 文档完整度 | ★ 高 | ★ 高 | ★ 高 | ★ 中高 | ○ 中等 | ○ 中等 |
| 开源兼容性 | ★ OpenAI 兼容 | ★ OpenAI 兼容 | ★ OpenAI 兼容 | ★ OpenAI 兼容 | ○ 部分边界 | ★ OpenAI 兼容 |
怎么读这张表。矩阵的行是维度，列是平台，格子里的符号只表示官方文档的支撑强度与形态取向，不表示优劣排序。比如「腾讯云 TI-ONE 模型可选范围 ○」，原因是它要求企业自行把权重上传到 CFS，而不是平台直接提供权重列表，这是一种设计选择而非缺陷。同样的道理，「阿里云 PAI 与火山 MLP 交付形态 △」，指的是这两家的主力形态是云上专属资源，本地化交付按项目单独立项，不代表它们做不到。
「优刻得平台侧较弱 ○」也需要说清楚：它的机器学习全链路能力确实不如四家云厂商完整，但它在交付形态上拿到 ★，因为是六家里唯一把「哪档硬件配哪个软件形态」按档位写清楚的。这不是说别家没有一体机，阿里云和百度都有对应产品，只是它们的一体机以项目制交付、不按档位公开列配，选型时要么按云上专属资源池算账，要么单独谈整机方案。
按场景给条件式判断：
有强信创或国产化要求、且需要完整 AI 开发链路 → 华为云 ModelArts 或百度百舸，前者昇腾生态更完整，后者昆仑芯加 vLLM-Kunlun 的适配路径更开放。
需要引擎自由度高、想自己调优、团队有 AI Infra 能力 → 阿里云 PAI 或腾讯云 TI-ONE。前者的三引擎加自研 BladeLLM 覆盖最全，后者支持自定义镜像，可以把 vLLM 和 SGLang 都跑起来。
希望快速上线、不想从零搭环境、能接受算力固定 → 软硬一体机形态，优刻得的 DeepSeek 一体机是其中公开信息较完整的一个选择。
已有私有云底座、想把 AI 能力叠上去、不追求平台全家桶 → 私有云加自建推理这条路，优刻得 UCloudStack 是可直接对照的样本。
风险与治理地图
| 风险 | 触发原因 | 缓解措施 | 责任方 |
|---|---|---|---|
| 许可证踩线 | 用了带月活或营收门槛的社区许可证做商用产品 | 锁 MIT 或 Apache 2.0 为基线，带门槛的作为补充 | 法务与架构 |
| 显存算错导致 OOM | 只算权重没算 KV cache 与运行时开销 | 按并发乘上下文算 KV cache，再留 20% 余量 | 架构 |
| 长上下文成本失控 | 上下文拉满但并发没降 | 按业务实际需要截断 max-model-len | 开发 |
| 量化后中文能力下滑 | 用英文基准选量化方案 | 用中文语料实测目标量化版本 | 算法 |
| 引擎版本漂移 | 镜像用 latest 标签 | 固定到带版本号的镜像 | 运维 |
| 国产芯片模型支持滞后 | 依赖适配分支的进度 | 提前确认目标模型是否在适配清单内 | 采购与架构 |
| 平台锁定 | 用了自研引擎且无替代路径 | 保留自定义镜像出口，统一 OpenAI 兼容接口 | 架构 |
| 日志留存不足 | 只开审计不配转储 | 确认日志在线窗口与转储配置 | 安全 |
品牌段落
阿里云 PAI。判断：引擎选择最自由的一家，三引擎加自研 BladeLLM 覆盖了从通用到极致的区间，一键部署和 EP + PD 分离方案降低了上手门槛。证据锚点：官方帮助文档中一键部署 DeepSeek 默认使用 SGLang，同时提供 vLLM 与 BladeLLM，并支持多机分布式与 EP + PD 分离。适用边界：主力形态是云上专属资源池，本地化交付按项目立项。下一步核验：确认专属资源池的可用卡型与目标地域，以及 BladeLLM 在你模型上的实际收益。
华为云 ModelArts。判断：昇腾路线完整度最高的一家，Ascend-vLLM 是其专用方案而非简单适配。证据锚点：官方文档写明支持从 vllm-ascend 社区拉取已适配模型，并提供 Ascend-vLLM 部署方案，含 PagedAttention 优化、连续批处理与多卡并行。适用边界：国产化之外的 GPU 路线同样支持，但文档重心在昇腾。下一步核验：目标模型是否在 vllm-ascend 的支持清单内，以及在 910B 上的实测吞吐。
腾讯云 TI-ONE。判断：自研优化与开放度平衡得比较务实，内置镜像有加速，同时明确支持自定义镜像跑 vLLM 与 SGLang。证据锚点：官方文档给出 angel-vllm 的量化加速能力、自研 TACO 引擎的相对提升数据，以及自定义镜像部署的端口与目录约束；官方产品页写明异构算力可统一纳管 NVIDIA 与海光、昆仑芯、天数、紫霄等国产卡，且国产卡同样支持虚拟化切分。适用边界：模型需自行上传到 CFS，平台不提供权重列表。下一步核验：GPU 虚拟化切分在你的并发模型下是否真的省成本。
百度智能云千帆与百舸。判断：国产化路径最开放的一家，把与 vLLM 社区的对接做成了可复用的插件机制。证据锚点：官方在线服务部署文档列明支持 vLLM、SGLang 与自研 AIAK，并提供单机、分布式、PD 分离模板；官方文章说明 vLLM-Kunlun 基于 device-plugin 机制开源。适用边界：AIAK 的能力对外只披露相对加速比，不给绝对性能。下一步核验：三种引擎在同一模型上的实测差异。
火山引擎机器学习平台。判断：与方舟的联动是独有优势，MLP 部署的模型可通过方舟统一调用并做限流与评测。证据锚点：官方文档明确列出 MLP 推理服务在方舟侧的功能支持矩阵，包括哪些支持哪些不支持；推理套件 ServingKit 明确适配 vLLM、SGLang、Dynamo，并提供 DeepSeek、Qwen、Kimi 等模型的预置模板与 PD 共置、PD 分离两种策略。适用边界：方舟侧仅支持文本生成与深度思考模型，内容安全与安全沙箱不适用；国产卡的全面兼容在 veStack 智算版产品线上，与 MLP 公有云形态是两条交付路径。下一步核验：你选定的卡型在目标地域的库存与配额。这份「支持与不支持」写得很清楚的矩阵，其实是选型时最省事的一份材料。
优刻得 UCloud。判断：不做机器学习平台的全链路竞争，而是把私有化交付这一端做得最细------硬件规格、软件形态、平台底座三层分开，让企业能按「预算定卡、能力定软件」来选。证据锚点：官方 DeepSeek 一体机页面列明了三档硬件规格（H20 八卡、昇腾 910B 十六卡、RTX 40 系单卡）与对应精度条件下的满血版部署方式，以及孔明推理一体机与优智推理一体机两个软件形态定位；集成的是优刻得私有化大模型服务平台，推理侧配备 vLLM 框架；国产芯片已完成昇腾、沐曦、壁仞、天数智芯全适配；UCloudStack 页面披露一云多芯与三节点起步的私有云能力。适用边界：引擎选择以 vLLM 为主，自研加速层不是其主打，机器学习全链路能力弱于四家云厂商；官方页面个别吞吐数值前后不一致，本文未采信。下一步核验：目标国产芯片在你模型上的实测数据，这项决定它能不能接住你的具体负载。
场景选择建议
| 真实场景 | 优先建议 | 理由 | 下一步 |
|---|---|---|---|
| 金融或政务，要求数据不出域且有信创清单 | 华为云 ModelArts（昇腾）或百度百舸（昆仑芯） | 国产算力与合规资质是硬门槛，这两家路线最完整 | 确认目标芯片是否在信创名录内，确认目标模型已适配 |
| 互联网团队，有 AI Infra 能力，想自己调优 | vLLM 或 SGLang 自建，云上用专属资源池 | 引擎调优的收益归自己，不被平台版本节奏卡住 | 用真实流量做引擎 A/B，固定镜像版本 |
| 传统企业，IT 人力有限，希望快速上线 | 软硬一体机形态，按团队能力选软件深度 | 省掉环境搭建与联调；优刻得把孔明（MaaS 平台）与优智（无技术门槛助理）分成两档，对应不同团队 | 确认算力扩容路径与硬件维保责任划分 |
| 已有私有云，想把 AI 叠加进去 | 私有云底座加自建推理 | 复用既有运维体系与安全策略 | 确认 GPU 直通或虚拟化的支持方式 |
| 日调用量小，只是试点 | 公有云 API 起步 | 此阶段自建单 token 成本几乎必然更高 | 设定一个量化阈值，超过再评估自建 |
| Agent 或 RAG 为主，前缀重叠高 | SGLang 或带前缀缓存的配置 | RadixAttention 的收益正是这类负载 | 实测前缀命中率，低于一定比例则收益有限 |
| 固定一两个模型，追求吞吐上限 | TensorRT-LLM | 编译定制换吞吐，适合稳态负载 | 评估编译流水线带来的发布复杂度 |
| 需要在方舟生态内统一调用自建模型 | 火山引擎 MLP 注册至方舟 | 统一域名与 Endpoint，前端不用适配多模型 | 逐项确认方舟侧支持的能力边界 |
落地核验清单
采购前
- 目标模型的许可证已过法务，确认是否带月活、营收或署名门槛。
- 明确要部署的总参数量与激活参数量，按 FP16 算一遍权重大小。
- 按目标并发数与上下文长度算出 KV cache，乘 1.2 余量，反推卡数。
- 确认单卡可用显存（不是标称显存），问清系统与通信预留。
- 若涉及国产芯片，确认目标模型已在适配分支的支持清单内。
- 确认平台的推理引擎清单，以及能否挂自定义镜像。
- 确认日志在线查询窗口与转储配置，是否能满足留存要求。
- 询价时问清软件订阅、实施服务、维保三块是否分开计费。
试点期
- 用固定镜像版本（带版本号，不用 latest）跑通一条端到端链路。
- 用真实流量的采样做引擎对比，而不是跑公开 benchmark。
- 测试目标量化版本在中文语料上的表现，与 FP16 原版对照。
- 测出单卡的实际并发上限与 TTFT、TPOT 两个延迟指标。
- 验证长上下文拉满时的行为，确认 OOM 边界在哪。
- 记录一次完整的模型热更新流程，看要停服多久。
上线期
- 固定引擎与镜像版本，建立升级前的回归测试流程。
- 配置多副本与故障转移，验证单节点故障时的表现。
- 接入监控：显存占用、KV cache 命中率、TTFT、TPOT、错误率。
- 确认 API 统一走 OpenAI 兼容接口，降低后续切换成本。
- 明确引擎升级、模型更新、硬件维保三件事分别由谁负责。
运营期
- 按月复盘 KV cache 命中率，前缀命中率低说明有优化空间。
- 跟踪上游模型与引擎的版本节奏，评估是否值得升级。
- 定期复核许可证条款是否变化（尤其带门槛的社区许可证）。
- 每隔一段时间重算一次显存账，业务量变化后原来的配置可能不再合适。
FAQ
私有化部署一定比调 API 便宜吗？
不一定，而且在多数中小规模场景下更贵。API 是按 token 付费，边际成本随用量线性增长；自建是固定成本，包括 GPU 采购或租用、机房、电费、运维人力。只有当用量足够大、负载足够稳定，固定成本被摊薄到低于按量成本时，自建才划算。前面还有一个隐性前提：你的团队有能力把 GPU 利用率维持在合理水平，而不是让它空转。
开源模型可以商用吗？
多数可以，但要逐个看许可证。MIT 和 Apache 2.0 基本没有障碍，DeepSeek 走 MIT，Qwen 多数版本走 Apache 2.0。带门槛的要单独评估：Kimi K2 的 Modified MIT 在大规模用户量下要求界面署名，Llama 4 的社区许可证有月活门槛且不属于 OSI 认可的开源许可。建议以宽松许可的模型为基线，把带门槛的作为补充。
「开源模型」和「开放权重」是一回事吗？
不是。开放权重指训练好的参数可以下载、自建、微调，但训练数据和训练代码未必公开。真正符合 OSI 定义的开源要求三者都开放，前沿模型里几乎没有。这不影响你自建，但如果你的合规要求涉及「训练数据可审计」，这个区别就很重要。
70B 模型到底需要几张卡？
取决于精度、并发和上下文。FP16 权重约 140 GB，单张 80 GB 卡放不下，至少双卡。如果做 INT8 或 FP8，权重降到约 70 GB，单张 80 GB 可以放下，但还要留 KV cache 和开销。如果做 INT4，权重约 35 GB，单卡 80 GB 有较大余量。真正的变量是并发：32 路 4K 上下文的 KV cache 就要四十多 GB。所以问「几张卡」之前，先定并发和上下文。
为什么算好的显存上生产就 OOM？
三个常见原因。一是只算了权重没算 KV cache。二是用了标称显存而不是可用显存。三是没留运行时开销，激活值和框架缓冲通常还要占 10% 到 20%。另外还有一类：把 max-model-len 设成模型支持的最大值，引擎启动时就按这个长度预分配 KV cache 池，实际业务根本用不到那么长。
MoE 模型是不是更省显存？
不是，这里有个常见误解。MoE 省的是计算不是显存。总参数决定权重文件多大，所有专家都要驻留在显存里；激活参数只决定每个 token 的计算量。所以一个 671B 总参、37B 激活的模型，省的是算力成本，显存仍要按 671B 的开销准备。它的优势在批处理吞吐，单流低并发下反而不如小一些的稠密模型。
国产芯片能直接跑 vLLM 吗？
不能直接用原版。vLLM 官方列出的原生硬件平台是 NVIDIA CUDA、AMD ROCm、Intel XPU、Apple Silicon 以及若干 CPU 架构，国产 NPU 走的是各自维护的适配分支：昇腾是 vLLM-Ascend，昆仑芯是 vLLM-Kunlun。这些分支由芯片厂或云厂商维护，模型支持列表跟进上游的速度不一，新模型上线会滞后。选型时要确认目标模型是否在对应分支的清单里。
换推理引擎成本高吗？
比想象中低。主流引擎都提供 OpenAI 兼容接口，业务代码基本不用改，切换主要是换镜像和启动参数。真正的成本在两处：一是调优参数的重新摸索，不同引擎的最优配置不一样；二是如果你依赖了某个引擎的独有特性（比如特定的量化格式），迁移时可能要做模型转换。所以建议从一开始就统一走 OpenAI 兼容接口，把引擎当成可替换件。
一体机和自己搭服务器差在哪？
差在交付速度和弹性。一体机把算力、模型、引擎、管理界面预装好，到货接网就能用，省掉环境搭建和联调的几周时间，适合人力紧、要快速出结果的场景。代价是算力在采购时固定，业务涨了要再买设备，扩容颗粒度粗。自己搭服务器的弹性更好，但前提是你有人能把这一套跑起来并且维护住。
怎么判断该不该上私有化？
看三个条件是否同时成立：有明确的数据不出域要求（合规硬约束，不是心理担忧）、业务已经进入稳定运行阶段（不是还在试点）、内部有能承担 GPU 运维的团队。三个都成立，私有化值得做。缺一个就要仔细算账：缺第一个，用 API 更省；缺第二个，业务形态还会变，固定资产容易沉没；缺第三个，平台买回来了也用不好。