Nutanix 超融合：从架构原理到集群部署与上线运维的完整方案

Johny_Zhao2026-10-24 12:15

按 架构原理 → 规划 → 物理安装 → Foundation 部署 → 集群创建 → Prism 初始化 → 高可用/备份/安全 → 上线运维 → 落地清单 组织，每个关键步骤都给出可操作的命令或路径。

生产部署以 Nutanix 官方文档、当前版本的 Release Notes 和 Foundation/Prism 安装向导为准。生产环境使用 AOS + AHV/ESXi + Prism，不建议用 Community Edition。

一、架构原理：先理解数据路径，规划才有依据

Nutanix 的核心是把计算、存储、网络和管理平面融合到标准 x86 节点中，用软件定义方式替代"服务器 + SAN/NAS + 虚拟化平台"的三层架构。

1.1 组件全景

组件 角色 部署阶段的关键含义
AHV / ESXi / Hyper-V 计算虚拟化层 AHV 是 Nutanix 原生 KVM；ESXi 也可用，但网络和 HA 配置路径不同
CVM 控制器虚拟机，每节点一个 承载 AOS，负责该节点的存储 I/O、副本、数据服务和集群通信
DSF / ADSF 分布式存储引擎 将集群所有节点的 SSD/HDD 池化为统一存储池，提供副本、EC、压缩、去重
Stargate CVM 中的核心 I/O 进程 hypervisor 访问存储的唯一入口；读写先经 Stargate，再落本地或转发远端
Oplog SSD 上的写缓存区 写请求先落本地 oplog，同时通过 10GbE 复制到其他节点 oplog，实现低延迟持久化
Prism Element 单集群管理 管理当前集群的 VM、存储、网络、告警、升级
Prism Central 多集群集中管理 Categories、Calm、Flow、容量规划、跨站点策略；生产建议 3-VM 实现 HA
Foundation 初始裸机部署工具 PXE 引导目标节点，自动完成 Hypervisor + CVM 安装和初始集群创建

1.2 数据路径与故障切换

写路径：Guest VM → hypervisor → 本地 CVM 的 Stargate → 写入本地 oplog（SSD） → 同时通过 10GbE 复制到另一节点的 oplog → 后台下沉到持久化存储。

读路径：优先读本地副本；本地无副本则从持有副本的节点跨网络读取，读取后迁移到本地 SSD，后续变为本地命中。

Stargate 故障切换：如果某个 Stargate 进程在 30 秒内连续两次无响应，另一个 CVM 会将该主机上的存储路径重定向到另一个健康的 Stargate；为防止频繁切换，原始 Stargate 需稳定 30 秒后才恢复原路径。这意味着节点故障时 VM 的 I/O 会短暂经历路径切换，但 VM 本身不感知。

1.3 部署阶段的直接推论

  • CVM 网络必须是 10GbE：CVM 间写复制和读转发全走 10GbE，只有 1GbE 上联的节点 NCC 会报 WARN/FAIL。

  • 生产集群最少 3 节点：RF=2 需要至少 3 个故障域才能容忍单节点故障；EC 对节点数有更高要求（见 2.3）。

  • 192.168.5.0/24 是内部保留网段：CVM 与 hypervisor 之间的内部通信使用该网段，IP 规划必须避开。

二、部署前规划

2.1 规模与节点选型

生产环境至少 3 节点起步，以支持 RF=2 和集群仲裁。起步配置可按以下方向规划：

项目 建议
CPU 每节点 2× Intel Xeon / AMD EPYC；为 CVM 预留 4--8 vCPU
内存 512 GB--1 TB/节点；CVM 通常占用 16--32 GB，剩余给业务 VM
缓存盘 NVMe SSD，用于 oplog 和热数据层
容量盘 SAS/SATA SSD 或 HDD；全闪可获得最佳性能
网卡 2× 10/25GbE 存储/业务；2× 1GbE 管理/IPMI
RAID CVM 直连磁盘优先；系统盘可做 RAID1
带外 IPMI/iDRAC/iLO 独立 IP，Foundation 镜像和故障排查依赖

兼容性红线：必须使用 Nutanix HCL 中的服务器型号、CPU 代际、NIC 和 SSD 型号。混合厂商节点不支持建集群。

2.2 网络平面规划

建议做物理或 VLAN 隔离，避免存储流量与业务流量互相影响。

网络平面 用途 建议
IPMI/OOB 带外管理 独立 VLAN，仅运维网段可达
Hypervisor 管理 AHV/ESXi 主机管理 1GbE 可接受，或与管理网合并
存储/CVM 网络 CVM 间数据同步与复制 10/25GbE 基线，低延迟，建议独立 VLAN
虚拟机业务网 VM 业务流量 按业务划分 VLAN
Prism 管理 Prism Element/Central 访问 可复用管理网，建议独立 VLAN

每个节点至少需要准备：IPMI IP、Hypervisor 管理 IP、CVM IP、集群 VIP、DNS、NTP、网关、VLAN ID。必须避开 192.168.5.0/24。

2.3 RF、EC 与容量规划

  • RF=2：至少容忍 1 节点故障，3 节点起可满足。

  • RF=3：至少容忍 2 节点故障，6 节点起更稳妥。

  • EC（纠删码） ：集群至少 4 节点才能启用；RF=2 下维持 block awareness 至少 4 blocks，RF=3 下至少 6 blocks。推荐的条带为 (4,1) 或 (4,2)，AOS 动态计算，不建议手动改条带大小；条带越大容量节省越多，但重建成本也越高。强烈建议集群节点数比"数据块 + 校验块"至少多 1，以便节点故障时有空间重建条带。

  • 扩容预留：规划时预留 20%--30% 的扩容空间，避免上线后容量紧张。

  • 使用 Nutanix Sizer 估算 vCPU、内存、IOPS 和可用容量。

2.4 软件版本与生命周期

从 AOS 7.0 和 Prism Central pc.2024.3 起，Nutanix 已从 LTS/STS/eSTS 模型转向统一 NCI Release Model：每个升级系列提供 15 个月完整维护 + 额外 9 个月故障排查支持，每年发布两次统一版本，AOS、AHV、Prism、NCC、Foundation 等组件的 EOM/EOSL 日期对齐。选型时应按该模型规划升级窗口，而非沿用旧的 LTS 节奏。

三、物理安装与基础环境

  1. 上架与布线：连接电源、IPMI、业务网和存储网。

  2. BIOS/UEFI：开启 VT-x/AMD-V、SR-IOV（如需要）、NUMA，使用 UEFI 启动。

  3. IPMI 配置：设置带外 IP、主机名、带外账号。

  4. 交换机侧：

    • 存储网端口开启对应 VLAN；

    • 业务网端口按需配置 access/trunk；

    • 如使用 LACP，AHV/ESXi 侧和交换机侧必须同时配置，单侧配置会导致链路异常。

  5. NTP 预检：确认所有节点时间源一致，NTP 可达。

四、使用 Foundation 部署节点

Foundation 的工作模式是：在一台管理用 VM（Foundation VM）中运行 GUI，通过网络 PXE 引导目标节点，自动完成 Hypervisor 和 AOS CVM 的安装，并创建初始集群。

4.1 准备 Foundation 环境

  1. 在 vSphere 或 AHV 中导入 Foundation VM 的 OVF/OVA，分配与管理网可达的 IP。

  2. 下载当前版本匹配的 AOS 安装包、Hypervisor ISO、Foundation 版本匹配包。

  3. 在 Foundation VM 桌面双击 Nutanix Foundation，浏览器打开 http://localhost:8000/gui/index.html，也可从外部访问 http://<foundation-vm-ip>:8000/gui/index.html。

4.2 导入节点配置

推荐方式：登录 install.nutanix.com 创建 Node Configuration 文件，填写每个节点的型号、CVM IP、Hypervisor IP、IPMI IP、集群 VIP、时区、DNS、NTP 等，导出后在 Foundation GUI 的 Start 页面 Import configuration file。然后在 GUI 中单独上传 AOS 和 Hypervisor 镜像（配置文件不包含镜像）。

如果选择手工填写，在 Foundation 中扫描节点后，逐项确认 IPMI、序列号、磁盘、网卡信息，为每个节点配置 IPMI/Hypervisor/CVM 的 IP、网关、DNS、NTP，以及缓存盘和容量盘、Hypervisor 类型。

4.3 执行 Imaging 与集群创建

  1. 在 Nodes 页面确认所有目标节点已被发现。

  2. 选择 Create Cluster，核对节点列表、CVM IP、集群 VIP。

  3. 启动 Imaging。过程中不要中断网络或断电。

  4. 完成后，每个节点应可通过以下方式访问：AHV root 登录、CVM nutanix 登录、Prism Element https://<CVM_IP>:9440。默认凭据以当前版本文档为准，安装完成后必须立即修改。

如果节点已运行 DiscoveryOS 但尚未安装 AOS/Hypervisor，必须先通过 Foundation 完成镜像。向已有集群追加节点时，不要二次运行 Foundation 创建新集群，而应使用 Prism 中的 Expand Cluster。

五、创建 Nutanix 集群（Foundation 未自动创建时的手动路径）

如果 Foundation 未自动完成集群创建，可在任意节点的 CVM 上手动执行：
bash

复制代码 
# 创建集群
cluster -s <CVM_IP1>,<CVM_IP2>,<CVM_IP3> create

# 启动集群
cluster start

# 设置集群名称
ncli cluster edit-params new-name=<cluster_name>

# 设置集群外部 VIP
ncli cluster set-external-ip-address external-ip-address=<cluster_vip>

# 配置 DNS 和 NTP
ncli cluster add-to-name-servers servers=<DNS_IP>
ncli cluster add-to-ntp-servers servers=<NTP_IP>

单节点 CE 环境使用 --redundancy_factor=1，但生产环境不建议采用。手动创建完成后，仍需进入 Prism 完成第六节的初始化配置。

六、Prism Element 初始化配置

6.1 首要任务：运行 NCC

登录 https://<集群VIP>:9440 后，第一件事不是配业务，而是跑健康检查。在任意 CVM 上以 nutanix 用户执行：
bash

复制代码 
ncc health_checks run_all

也可以通过 Prism Web 控制台的 Health → Actions → Run Checks 执行。任何非 PASS 项在解决之前不要继续配置或上线业务。重点关注的检查包括 10gbe_check（CVM 是否绑定在 10GbE 上联）、证书一致性、NTP 同步、DNS 可达性、磁盘使用率等。如果集群负载较高导致 run_all 超时，可改用 ncc --health_checks <check_name> 单独执行关键项。

6.2 时区、NTP、密码、SMTP

bash

复制代码 
ncli
ncli> cluster set-timezone timezone=Asia/Shanghai

修改时区后需滚动重启所有 CVM：一次只重启一个，确认该 CVM 完全恢复后再操作下一个。NTP 建议指向至少 5 个稳定的低 stratum 源。

修改 CVM 的 nutanix 用户密码和 AHV 的 root 密码；NCC 会检查默认密码，修改后重新运行 NCC 确认告警消失。在 Prism 中配置 SMTP，使 NCC 结果和告警可邮件送达；按需开启 Pulse/远程支持。

6.3 存储池与 Storage Container

Foundation 会自动创建默认 storage pool 和一个 container，但生产环境应根据业务规划调整：确认 container 的 RF 设置、是否启用压缩/去重、是否对特定 container 启用 EC。EC 启用前确认集群节点数满足 2.3 的约束。

6.4 虚拟机网络

在 Prism 中：齿轮图标 → Network Configuration → Create Network，填写 VLAN ID 和子网。也可在 CVM 上通过 aCLI：
bash

复制代码 
acli net.create <network_name> vlan=<vlan_id>

验证 bridge 和 uplink：
bash

复制代码 
manage_ovs --bridge_name br0 show_uplinks

确认 uplink 为 10GbE 且 bond 正常。需要多 VLAN 的 VM 可创建 trunked NIC：
bash

复制代码 
acli vm.nic_create <vm_name> network=<network_name> \
  trunked_networks=<vlan_id1,vlan_id2> vlan_mode=kTrunked

6.5 镜像上传与测试 VM

上传 ISO 或 VM 镜像，创建一台测试 VM，验证网络连通性、存储读写、快照和迁移。这是上线前最小闭环验证，不要跳过。

七、Prism Central 部署（集中管理）

Prism Element 管理单集群；Prism Central 提供多集群管理、Categories、Calm、Flow 和容量规划。生产环境建议 3-VM Prism Central 实现 HA，小型环境可使用 1-VM。

部署方式（1-Click）：

  1. 在 Prism Element 的 Home 页面找到 Prism Central 小组件，点击 Register or create new。

  2. 选择 Deploy，指定规格（1-VM 或 3-VM）、存储 container 和网络。

  3. 填写 Prism Central 的 IP、网关、DNS、NTP。

  4. 点击 Deploy，在 Tasks 页面监控到状态变为 OK。

  5. 将 Prism Element 集群注册到 Prism Central。

规格参考（pc.2023.4.0.2 之后，每 PC VM 内存已上调 2 GB）：

规格 1-VM 3-VM（合计）
Small 6 vCPU / 28 GB / 500 GiB 18 vCPU / 84 GB / 1500 GiB
Large 10 vCPU / 46 GB / 10000 GiB 30 vCPU / 138 GB / 30000 GiB
X-Large 14 vCPU / 62 GB / 10000 GiB 42 vCPU / 186 GB / 30000 GiB

如果计划启用 Flow、Calm/Self-Service、DRaaS 等可选功能，需在此基础上追加 CPU/内存资源。

八、高可用、数据保护与安全

8.1 高可用

  • 启用 VM HA：节点故障后 VM 在其他节点重启。

  • Anti-Affinity：关键 VM 配置反亲和，避免集中在同一节点。

  • 故障演练：至少测试一次节点断电、磁盘故障、CVM 重启，确认 VM 行为和恢复时间符合预期。

  • 启用 Rebuild Capacity Reservation：在 Prism Element 中 Settings → Data Resiliency → Rebuild Capacity Reservation，勾选 Reserve Rebuild Capacity。启用后集群会基于 Failure Domain 和 Fault Tolerance 预留重建容量，节点故障时自动重建；未启用时集群可能在无法完全保护数据的情况下继续接受写入，启用后如果新写入无法被充分保护，集群会拒绝写入。3 节点以上集群支持该功能；RF=1 时不能启用；启用后不能随意更改 Failure Domain。

8.2 数据保护

  • 配置快照策略和 Protection Domain。

  • 如需容灾，配置异步复制或 Metro Availability。

  • 备份遵循 3-2-1 原则，结合第三方备份工具，不要把快照当作唯一备份。

8.3 安全加固

  • 修改所有默认密码；

  • 限制 Prism 管理网段访问；

  • 启用静态数据加密；

  • 使用 RBAC 最小权限；

  • 启用审计日志；

  • AHV 环境可通过 Nutanix Flow 做微分段。

8.4 AHV 内存超分的生产态度

AHV 默认创建固定内存的 VM，Memory Overcommit 需要手动在 VM 上启用。官方不建议在生产环境默认开启：超分依赖 ballooning 和 swapping，如果 VM 活跃内存超出物理内存，会出现持续换页和性能下降。如果确实需要在测试或非关键负载中启用，注意：不支持 GPU passthrough 和 vNUMA 的 VM；启用后不能热添加内存；不能使用 Cross-Cluster Live Migration；Windows VM 需安装 VirtIO 驱动包或 NGT 才有 balloon 驱动。生产环境的合理做法是通过 AHV 的 VirtIO ballooning 在不超分的前提下提升 VM 密度，而不是依赖超分。

九、上线后运维节奏

9.1 每日巡检

  • Prism 告警和 NCC 关键结果；

  • 所有 CVM 状态（ncc health_checks run_all 或 Prism Health）；

  • 存储池容量与 Rebuild Capacity Reservation 余量；

  • 数据重建进度（如有节点/磁盘故障后）。

9.2 每周巡检

  • 性能趋势：集群 IOPS、延迟、CVM 资源使用；

  • 热点 VM；

  • 网络丢包和 bond/uplink 状态；

  • NTP/DNS 状态。

9.3 每月变更窗口

  • AOS/AHV/固件升级，优先在测试环境验证，按 NCI Release Model 的维护窗口规划；

  • 使用 LCM（Life Cycle Manager） 统一管理升级，避免手工混用版本；

  • 升级前确认 NCC 全部 PASS，Rebuild Capacity Reservation 有足够余量。

9.4 容量与故障管理

  • 提前 3--6 个月评估扩容需求，结合 Sizer 和实际使用率；

  • 定期做节点故障、磁盘故障、VM 迁移和恢复演练；

  • 保留配置基线：网络、存储、VM 模板、备份策略、升级记录。

9.5 扩容

向已有集群加节点时，使用 Prism 中的 Expand Cluster，不要二次运行 Foundation 创建新集群。新节点必须与现有节点在同一 HCL 平台、同型号或兼容型号。

十、最小可落地部署清单

类别 项目
硬件 3 台同配置 x86 服务器（HCL 内）；1 台 10/25GbE 交换机；1 台千兆管理交换机
网络规划 IPMI、管理、存储、业务 VLAN 规划表；CVM/AHV/集群 VIP/DNS/NTP 地址表（避开 192.168.5.0/24）
部署工具 Foundation VM；AOS 镜像；Hypervisor ISO；Prism Central OVA
软件版本 按 NCI Release Model 选定统一版本组合
备份 备份服务器或备份存储；3-2-1 备份策略
配置 SMTP/Syslog/SNMP；RBAC 角色；运维账号
验证 测试 VM 的网络、存储、快照、迁移；一次节点故障演练

第一次搭建建议先用 3 节点做 POC：完整走通 Foundation 装机 → 集群创建 → Prism 初始化 → 测试 VM → 快照恢复 → 节点故障切换 → 升级演练，确认稳定后再纳入生产业务。

附：关键避坑速查

  1. IP 规划避开 192.168.5.0/24，否则 CVM--Hypervisor 内部通信可能异常。

  2. 不要混合厂商节点建集群，所有节点须在同一 HCL 平台。

  3. 10GbE 是基线，不是"建议"；仅 1GbE 上联会导致 NCC FAIL 和 CVM 间复制性能严重下降。

  4. 修改时区后必须滚动重启 CVM，一次一个，确认恢复后再继续。

  5. 生产环境不默认开启 AHV Memory Overcommit；如需使用，充分评估 balloon 驱动、swap 和性能影响。

  6. 扩容用 Expand Cluster，不要二次跑 Foundation。

  7. EC 不要在节点数不足时强行启用：RF=2 至少 4 节点，RF=3 至少 6 节点，条带 (4,1)/(4,2) 由 AOS 动态计算。

  8. Rebuild Capacity Reservation 上线即启用，并在日常巡检中关注预留余量；接近上限时集群会拒绝新写入。

热门推荐
01国内可直接用、免费额度/永久免费的大模型API清单（含 SiliconFlow、火山、阿里、智谱、百度、Kimi、DeepSeek、DMXAPI 等）02如何新建文件夹？ 电脑新建文件夹的4种方法03GitHub 镜像站点04历年考研数学一、数学二、数学三真题试卷及答案PDF05几个好用的ip纯净度检测网站06ai安全工具:CyberStrikeAI安装部署与使用07苹果iPA游戏软件资源下载网站08昇腾910B系列芯片完全指南：四款型号对比、服务器选型与大模型部署实战09「全语录+省流版」邵艾伦 × 孙宇晨：聊风口、聊个人IP、聊年轻人如何抓住 AI 时代的机会10乙二醇水溶液物性参数