融合架构下Windows Server HCI主机网络配置(上)

某客户计划部署8节点的Windows Server HCI,采用双端口25GB Mellanox网卡,支持RoCE(V2) RDMA协议,网络规划及拓扑如下图所示:

主机网络配置参考如下:

一.启用网络服务与质量(QoS)
1.为 SMB Direct 设置网络 QoS 策略,这是软件定义的存储系统使用的协议
New-NetQosPolicy "SMB" -NetDirectPortMatchCondition 445 -PriorityValue8021Action 3
2. RoCEv2 启用 SMB 的流控制
Enable-NetQosFlowControl -Priority 3
3.针对其他流量禁用流控制
Disable-NetQosFlowControl -Priority 0,1,2,4,5,6,7
4.获取网络适配器列表来识别目标适配器(RDMA 适配器)
Get-NetAdapter | FT name, InterfaceDescription, Status, Linkspeed
5.将网络 QoS 策略应用于目标 RDMA 适配器
Enable-NetAdapterQos -Name "CONVER1","CONVER2"
备注:CONVER1/2指的是更名后的物理网卡名称
6.创建流量类 SMB Direct 指定 50% 的最低带宽
New-NetQosTrafficClass "SMB" -Priority 3 -BandwidthPercentage 50 -Algorithm ETS
7.配置 DCB 及设定网卡属性
Set-NetQosDcbxSetting -Willing $false
Set-NetAdapterAdvancedProperty -name "CONVER1" -DisplayName 'Dcbxmode' -
DisplayValue 'Host in charge'
Set-NetAdapterAdvancedProperty -name "CONVER2" -DisplayName 'Dcbxmode' -
DisplayValue 'Host in charge'
二、虚拟交换机与管理网络配置
1.运行下列 PS 命令创建 VM Switch,使用 25GB 网卡
New-VMSwitch -name 10-2 -AllowManagementOS 0 -NetAdapterName "CONVER1", "CONVER2" - MinimumBandwidthMode Weight -Verbose
备注:10-2指的是虚拟交换机名称,可以替换自己规划的虚拟交换机名称。
2.创建管理网络
Add-VMNetworkAdapter -ManagementOS -Name 'Manager' -SwitchName 10-2 -Passthru | Set-
VMNetworkAdapterVlan -Access -VlanId 510 -Verbose
备注:VLAN 510指当前管理网络所在的VLAN,由于采用融合网络,上行链路配置都是TRUNK。
3.创建存储网络
Add-VMNetworkAdapter -ManagementOS -Name 'SMB_1' -SwitchName 10-2 -Passthru | Set-
VMNetworkAdapterVlan -Access -VlanId 4000 -Verbose
Add-VMNetworkAdapter -ManagementOS -Name 'SMB_2' -SwitchName 10-2 -Passthru | Set-
VMNetworkAdapterVlan -Access -VlanId 4001 -Verbose
三、配置存储与管理网络IP地址
1.配置管理网络 IP 地址
New-NetIPAddress -InterfaceAlias 'vEthernet (Manager)' -IPAddress
192.168.XXX.XXX -DefaultGateway 192.168.XXX.1 -PrefixLength 23 -AddressFamily
IPv4 -Verbose
2.配置存储网络 IP 地址
New-NetIPAddress -InterfaceAlias 'vEthernet (SMB_1)' -IPAddress 10.253.XXX.XX
-PrefixLength 24 -AddressFamily IPv4 -Verbose
New-NetIPAddress -InterfaceAlias 'vEthernet (SMB_2)' -IPAddress 10.254.XXX.XX
-PrefixLength 24 -AddressFamily IPv4 -Verbose
3.配置管理网络 DNS 地址
Set-DnsClientServerAddress -InterfaceAlias 'vEthernet (Manager)' -
ServerAddresses 192.168.XXX.XX, 192.168.XXX.XX
4.重启管理与存储网络
Restart-NetAdapter 'vEthernet (Manager)'
Restart-NetAdapter 'vEthernet (SMB_1)'
Restart-NetAdapter 'vEthernet (SMB_2)'
四、优化存储网络配置与设定
1.启用存储网络RDMA
Enable-NetAdapterRdma 'vEthernet (SMB_1)'
Enable-NetAdapterRdma 'vEthernet (SMB_2)'
Set-VMNetworkAdapterTeamMapping -VMNetworkAdapterName "SMB_1" -ManagementOS -
PhysicalNetAdapterName "CONVER1"
Set-VMNetworkAdapterTeamMapping -VMNetworkAdapterName "SMB_2" -ManagementOS -
PhysicalNetAdapterName "CONVER2"
Get-SmbClientNetworkInterface
2.修改虚拟存储网络的MTU
Get-NetAdapterAdvancedProperty -Name 'SMB_1' -RegistryKeyword *JumboPacket | Set-
NetAdapterAdvancedProperty -RegistryValue 9014
Get-NetAdapterAdvancedProperty -Name 'SMB_2' -RegistryKeyword *JumboPacket | Set-
NetAdapterAdvancedProperty -RegistryValue 9014
3.设置Mellanox NIC DCBX mode为"Host in charge"
Set-NetAdapterAdvancedProperty -Name 'CONVER1' -DisplayName 'Dcbxmode' -DisplayValue
'Host in charge'
Set-NetAdapterAdvancedProperty -Name 'CONVER2' -DisplayName 'Dcbxmode' -DisplayValue
'Host in charge'
备注:以上配置仅限于Windows Server超融合手动设置下的Mellanox网络(融合架构),如果使用的自动网络配置参考后面的文章。