【hcie-cloud】【7】华为云Stack_LLD设计【设计概览、整体架构设计、网络设计、部署设计、资源设计、服务设计】【上】

文章目录

前言
设计概览
- LLD设计输入材料
- [项目信息概述 - 建设背景](#项目信息概述 - 建设背景)
- [项目信息概述 - 建设目标](#项目信息概述 - 建设目标)
- [项目信息概述 - 建设范围](#项目信息概述 - 建设范围)
- 项目物料概述
整体架构设计
网络设计
- 管理区网段划分
- IP/VLAN规划
- 交换机VRF规划
- 防火墙安全域规划
- 网络设备互联设计
- [核心交换机静态路由设计 - 默认路由](#核心交换机静态路由设计 - 默认路由)
- [核心交换机静态路由设计 - Internet访问](#核心交换机静态路由设计 - Internet访问)
- [核心交换机静态路由设计 - 网络节点网元访问（1）](#核心交换机静态路由设计 - 网络节点网元访问（1）)
- [核心交换机静态路由设计 - 网络节点网元访问（2）](#核心交换机静态路由设计 - 网络节点网元访问（2）)
- [核心交换机静态路由设计 - 其他访问](#核心交换机静态路由设计 - 其他访问)
- 防火墙静态路由设计
- 运营运维接入设计
- 运营接入设计
- 运维接入设计
- [运维接入 - 内网路由接入](#运维接入 - 内网路由接入)
- [运维接入 - 外网SSL-VPN接入](#运维接入 - 外网SSL-VPN接入)
- [运维接入 - 外网通过跳板机接入](#运维接入 - 外网通过跳板机接入)
部署设计、资源设计、服务设计、缩略语

前言

本章主要对华为云Stack工程项目中，LLD设计需要的一些关键点以及相应的知识、规划做讲解，帮助工程师在实际项目中能够学以致用。
学完本课程后，您将能够：
- 了解LLD设计前准备动作
- 熟悉整体架构设计、网络设计、部署设计、资源设计等

设计概览

LLD设计输入材料

BoQ：Bill Of Quantities，工程量清单，把承包合同中规定的准备实施的全部工程项目和内容，按工程部位、性质以及它们的数量、单价、合价等列表表示出来，用于投标报价和中标后计算工程价款的依据，工程量清单是承包合同的重要组成部分。

项目信息概述 - 建设背景

参考项目技术建议书，根据项目实际情况描述项目建设背景，并简要介绍客户建立该云平台的用途。
示例
- xx公司智能连接部系统经过多年的建设，已经发展成支撑业务快速发展的不可缺少的系统。为了保证系统的稳定性，因此系统之间多分散建设，比如运管平台目前仍然采用传统独立的主机作为Web、应用和数据库主机，没有使用到虚拟化技术。
- 截止到2018年4月，运管平台用户数已突破2000万，同时，运管平台软硬件也扩容到可支撑5000万用户的规模。随着服务器和应用的不断扩容，尤其是今后部分省有建设省二级运管平台系统的需求后，对于运管平台资源的有效利用成为急需解决的问题，因此，为了降低成本，对资源进行灵活利用，动态扩容，运管平台进行逐步云化势在必行。
- XX公司经过三年三期项目建设，现有小机4台、X86服务器300台，虚拟机1150台，SAN存储708 TB，对象存储525 TB，备份资源324 TB，网络及安全设备142台，支撑公司各部门20多种业务；部署在A站点数据中心。
  当前XX公司业务发展迅速，未来对大带宽和大连接有很强诉求，以"XX"业务为例，2018年XX公司已有XX业务在线用户9000个（每个用户一个摄像头，每个摄像头0.5 Mpps，7*24小时实时存储，10%流量回看诉求），每天9000个用户的存储IOPS高达3000万次，未来对存储的性能和容量都带来很大的挑战和需求；根据预测2019年XX公司XX业务实时在线用户将达到10万（总用户30万）。

项目信息概述 - 建设目标

参考项目技术建议书，根据项目实际情况描述项目建设目标。
示例
- IT系统实现云架构，随需而变，按需分配，通过实现资源虚拟化后，建立一个专网IT支撑系统的统一IaaS资源池，实现统一的业务支撑系统"混合云"。
- 通过建立业务支撑网主机虚拟化平台，达到以下目的：
  - 1、降低维护成本：设备集中部署，减少数量，且维护的设备比较单一，因此可降低维护成本。
  - 2、系统资源共享：通过虚拟化技术，实现系统资源共享，达到当某一系统资源不足时，其他系统资源可进行支持；根据系统之间的差别，应用之间的刀片互相接管，后续专网的IT系统的PC服务器（除核心系统以外）都可以通过该平台进行扩容。
  - 3、降低新增系统的实现周期：采用云的方式，可以快速提供资源。已经搭建好平台，如果有一些新增系统，可在虚拟化平台上直接扩容，减少采购周期，也降低实施难度和周期。按年度进行扩容，新增项目的应用服务器扩容只要考虑软件开发时间，不许考虑硬件采购和实施时间。

项目信息概述 - 建设范围

参考项目技术建议书，根据项目实际情况规划建设范围。
技术中台服务：ROMA、ServiceStage、DTM分布式事务、DCS分布式缓存、DevCloud、BCS区块链...
数据中台服务：MRS云原生数据湖、DGC数据湖治理中心、DWS云数据仓库、GES原生图产品、云数据库服务...

项目物料概述

参考项目BoQ，汇总项目中涉及到的物料信息。
示例
BoQ：Bill Of Quantities，工程量清单，把承包合同中规定的准备实施的全部工程项目和内容，按工程部位、性质以及它们的数量、单价、合价等列表表示出来，用于投标报价和中标后计算工程价款的依据，工程量清单是承包合同的重要组成部分。

整体架构设计

逻辑架构设计

云数据中心总体架构如上图所示，主要由基础设施层、资源池层、云服务层和管理域组成：
基础设施层：基础设施包括构建数据中心所需的服务器、存储设备和网络设备，提供基于物理资源构建的虚拟计算、虚拟存储和虚拟网络资源池，并提供可直接使用的物理服务器资源。基础设施层可根据不同业务的需求，提供多种类型的硬件部署架构。
- 资源池层：资源池总体架构以资源组合形式分为物理数据中心层、统一资源层和业务层。
  - 物理数据中心层：云平台通常包括多个物理地域分布的数据中心。单个物理数据中心的形态和传统云数据中心基本一致，分为物理基础设施和物理基础架构。采用扁平化二层网络设计，将数据中心IT设备高速连接到一起。
  - 统一资源池层：统一的计算资源池、存储资源池和网络资源池。每种类型的资源池，都有实际的作用域。资源池的划分和底层物理设备位置无任何关联，FusionSphere将物理分散的计算、存储、网络设备纳入逻辑统一资源池，供上层业务按需调度。
- 云服务层：云服务层作为云服务的管理及运营平台，主要包括服务自动化层、服务接入层（服务console层）及服务门户层。
  - 服务自动化层通过对资源池层IaaS、灾备资源的封装，实现云资源服务的发现、路由、编排、计量、接入等功能，显现从资源到服务的转换。
  - 服务接入层是云管理平台的对外呈现，分为用户门户及管理员门户。用户门户面向各部门的业务管理员等，管理员门户面向系统管理员等。用户可通过服务租户自助操作门户（服务console）实现对服务的操作、使用、监控等生命周期管理。
- 管理域：分为运营管理和运维管理两部分。
  - 运营管理，提供运营管理门户，提供对云服务的统一运营能力，提升运营操作的敏捷性，提升业务运营效率。运营管理门户除提供云服务申请和自助服务控制台外，支持包括VDC管理、租户管理、服务目录、服务控制台、计量等运营管理功能。
  - 运维管理，提供运维管理门户，提供对虚拟资源和物理资源的统一运维能力，支持对多数据中心的统一运维管理，包括资源管理、告警管理、拓扑管理、性能管理以及统计报表等，提升运维操作效率。
  - 管理及公共能力层是云平台整体运维管理及公共组件的管理平台。
- 应用域：由第三方提供应用，基于华为云Stack提供的云服务，构建用户的业务系统，满足各行业用户业务需求。

物理架构设计

上图为典型组网实例，图及说明请根据项目情况修改，相关说明如下：
- xxx项目本期建设主要包括政务外网和同城灾备数据中心的建设，其他区域暂不涉及。
- 省信息中心的政务外网和同城灾备数据中心均采用LEAF-SPINE二层架构。
- 主中心城域网机房与同城灾备城域网机房各部署两台高性能核心路由器，实现数据中心面向城域网双活访问的可靠高速转发。
- 政务外网网关部署在核心交换机CE12804上，核心交换机采用M-LAG组网，核心防火墙采用旁挂方式。
- 政务外网采用WEB应用防火墙WAF和负载均衡F5，均旁挂在核心防火墙上。
- 接入交换机通过40GE上行连接到核心交换机，接入交换机采用M-LAG组网。
- 管理节点和计算节点等服务器均通过10GE上行连接到接入交换机。
- 服务器通过HBA卡连接到光纤交换机，光纤交换机与FCSAN存储连接。

设备选型

在华为云Stack硬件设备选型中，通常有几个原则：
- 节点服务器：常选机架服务器RH2288H V5，不同角色的服务器组件配置不同
  - 管理节点&管理存储合一节点，网口数可选2网口/4网口/6网口，2网口绑定bond，管理&业务&存储流量均走该bond，4网口两两bond，管理&业务走一对网口，存储走一对，6网口就可以实现3种流量的完全分离；由于涉及管理存储，服务器也需要配置足够数量的磁盘。
  - 计算节点，同样涉及2网口/4网口/6网口，由于计算节点不和业务存储节点合一，该角色的服务器只需要2块盘组RAID充当系统盘即可。
  - 业务存储节点，只需要2网口绑bond走存储流量即可，由于涉及业务存储，服务器也需要配置足够数量的磁盘。
  - 网络节点，由于软SDN的一些网元虚拟机运行在其上，涉及大吞吐的流量，网口数量相对于其他角色的节点比较多，该类型节点会使用管理存储，自身只需要2块盘组RAID充当系统盘即可。
- 交换机：标准方案接入和核心交换机都要组M-LAG，涉及一对交换机之间的互联，推荐使用40G网口进行交换机之间M-LAG的流量交换；连接不同服务器使用的除了BMC口电口即可，其他的10G的光口；接入与核心交换机的互联端口也推荐40GE光口。
- 防火墙：防火墙之间的互联，以及防火墙与核心交换机之间的互联均推荐40GE光口。

机房基础信息

规划LLD前，需要根据工勘结果获取如下机房基础信息，机房信息直接影响到机柜部署设计以及设备间连线情况。

机柜部署

机房布局基本原则：
- 同类型的节点尽量放置在不同的机柜上。
- 本逻辑区域的接入交换机与接入服务器尽量放置在同一机柜。
- M-LAG的网络设备、同角色的防火墙放置在不同的机柜上。
- 华为分布式块存储存储节点的ZK盘所在的服务器放置在不同的机柜上。
- 同时考虑机柜重量与功率的限制。
示例

设备命名规则

HUAWEI CLOUD Stack系统中每个设备建议包含如下物理属性：机房编号、机架编号、位置、功能区域、功能组件、物理设备类型、槽位编号，也可依据实际项目需求自定义命名规则。设备命名规则：
- 机房缩写：根据项目实际机房名称缩写为XXX，如DC01。
- 机柜编号：按照A-Z字母+编号，A01-C08。
- 功能区域：管理区（Mgmt）、业务区（Service）、OBS服务区（OBS）、核心交换区（Core）等。
- 功能组件：核心交换机（Core_Switch）、控制节点（Controller）、云服务节点（CloudService）、计算节点（KVM）等。
- 设备型号：2288H_V5、CE6855、5500_V5等。
- 设备编号：01~99，同一机柜中同一类型设备编号从下到上递增。

网络设计

管理区网段划分

IP/VLAN规划

IP/VLAN规划原则：
- 单个Region内所有网络平面的VLAN和网段不允许冲突，不允许重复。
- 部署多个Region时，建议为每个Region分别规划不同的网络资源。
- 单Region多出口场景下，网络服务/VPN服务/专线服务需要在每个出口下单独规划，网络平面不可复用。
- 部署裸金属服务或对接SAN存储时，确保External_OM平面与裸金属服务器的BMC带外管理平面或SAN存储设备的带外管理平面互通。
- 规划网段的范围请考虑可预见到的扩容规模。规划网段大小时，按照所需地址数量的120%为基准进行规划。
示例

交换机VRF规划

在HUAWEI CLOUD Stack中，出于安全隔离的需求，需要由不同的网络平面分别承载租户流量、管理流量、存储流量等，为了在同一台物理交换机上实现各个网络平面之间的隔离，需要使用交换机的VRF功能。
交换机划分VRF之后，各个VRF之间网络是隔离的，如果VRF之间有互通的需求，需要在防火墙上配置安全策略把各个VRF之间进行流量打通。

VRF是一种技术：Virtual Route Forwarding，即虚拟化路由转发，是在一台物理设备上，创建虚拟化的路由设备的相关技术。
我们常说的，在设备上"创建VRF"其实是不规范的，因为VRF是一种技术而不是一种对象。"创建VRF"，其实指的是创建一个虚拟的路由设备，即创建一个vpn-instance。
vpn-instance，又被称为虚拟路由转发实例，是一个类似虚拟设备的概念。缺省时，一个网络设备的所有接口（例如防火墙的三层接口或子接口，或交换机的Vlanif等）都属于同一个转发实例------设备的根实例。如果我们在该网络设备上创建一个VPN实例，那么就等于拥有了一台虚拟设备，我们可以将特定的接口添加到该VPN实例中，如此一来，该接口专门服务于这个VPN实例。每个VPN实例使用独立于根设备的数据转发表，例如路由表等等，它们使用不同的数据转发平面，这使得在某个VPN实例（的接口）上接收的流量，不会被转发到其他VPN实例或者根设备，从而实现彻底隔离的需求。
综上所述，在HUAWEI CLOUD Stack中，交换机上需要创建如下vpn-instance，来满足安全隔离的需求。

防火墙安全域规划

在HUAWEI CLOUD Stack的网络设计中，划分了不同的安全区域，允许网络管理员在安全区域的基础上实施各种特殊的报文检测与安全功能，即满足了安全隔离的需求，又可以避免耗费大量的设备性能。

安全区域（Security Zone），是设备所引入的一个安全概念，大部分的安全策略都基于安全区域实施。
在网络安全的应用中，如果网络安全设备对所有报文都进行逐包检测，会导致设备资源的大量消耗和性能的急剧下降。而这种对所有报文都进行检查的机制也是没有必要的。所以在网络安全领域出现了基于安全区域的报文检测机制。
引入安全区域的概念之后，网络管理员可以将具有相同优先级的网络设备划入同一个安全区域。由于同一安全区域内的网络设备是"同样安全"的，防火墙认为在同一安全区域内部发生的数据流动是不存在安全风险的，不需要实施任何安全策略。只有当不同安全区域之间发生数据流动时，才会触发设备的安全检查，并实施相应的安全策略。

网络设备互联设计

核心区与接入层互联地址设计：核心交换机与出口PE、核心交换机与外部接入TOR（L3GW场景配置）需要规划1对互联地址，每对互联地址至少需要一个30位掩码的网段。
核心区与防火墙互联设计：核心交换机与防火墙之间，互通的每个VRF（防火墙安全域，trust、untrust域除外）及防火墙之间心跳互联均需要规划1对互联地址，每对互联地址至少需要一个29位掩码的网段。
示例

核心交换机静态路由设计 - 默认路由

当核心交换机无具体路由明细时，默认路由生效，Internet VRF流量会转发到PE，其他VRF 流量转发到边界防火墙。

核心交换机静态路由设计 - Internet访问

从Internet进入的流量，通过核心交换机Internet VRF转入边界防火墙，目的地址根据不同流量具体区分，再由防火墙根据自身的静态路由处理流量。

核心交换机静态路由设计 - 网络节点网元访问（1）

核心交换机静态路由设计 - 网络节点网元访问（2）

核心交换机静态路由设计 - 其他访问

防火墙静态路由设计

运营运维接入设计

使用HUAWEI CLOUD Stack云的角色有三种：云管理员、租户管理员和租户。
- 云管理员：对整个云具有最高的权限，云管理员可能会访问云内组件所有的portal，云管理员在网络上具有所有的权限，他能够访问云内所有的网段。云管理员是通过运维通道接入云内。
- 租户管理员：能够访问云服务的Console页面，按照租户的划分，租户管理员可能有多个，租户管理员只能操作自己租户范围的云服务生命周期管理，租户管理员通过自己的账户和密码能够登陆云服务的Console并在自己权限范围进行业务的操作，租户管理员无权限对云内基础设施的配置进行更改。
- 租户：能够访问自己所属的业务虚拟机，可以通过专线、EIP或者VPN的方式与自己的业务虚拟机通信。如果云服务的管理Console没有对互联网发布，那么租户无法访问云的运营界面。
在B2B的运营模式下，普通的租户即是租户管理员也是租户，用户是自运营和自运维的模式，租户自己发放ECS和VPC供自己使用。
在某些混合云的运营模式下，租户管理员和租户权限分离，租户管理员创建了ECS主机之后分配给租户使用。

租户管理员只能从外部Internet域接入，租户管理员只能访问DMZ域的Console，也就是LVS的浮动IP，租户管理员不能直接访问Public域。

运营接入设计

从运营接入需求看，租户管理员需要访问云服务的Console，由于华为云Stack 8.x版本是统一的云服务架构，优势在于只需要对外开放一个IP地址就可以满足所有的云服务接入需求。
为了满足租户管理员的云服务管理需求，从云的建设角度，需要做如下的操作对外提供服务：
- 1)管理墙配置NAT Server，分配一个公网地址映射为LVS的VIP地址，租户管理员在外部域访问此公网地址，管理墙会自动把此公网地址映射为私网的LVS的VIP地址。
- 2)管理墙配置Internet到DMZ域的安全规格，允许Internet域所有的IP可以访问DMZ域LVS的VIP地址的80、443和VNC的端口。
- 3)在公网DNS注册DNS，运营页面的域名映射为步骤1中的公网地址。

运维接入设计

云管理员需要接入云数据中心对整个数据中心进行管理，云管理员需要登陆多个页面进行管理，比如运维页面、运营页面、云平台CPS页面、ServiceOM页面、eSight页面、华为分布式块存储Manage页面、服务器的BMC页面等，还需要直接通过SSH登陆交换机、防火墙、管理节点、计算节点等基础硬件设备的能力。因此，云管理员需要能够访问云数据中心的所有网络中所有的IP和所有的端口，在数据中心的业务流程中具有最高的权限。
云管理员运维接入云数据中心的网络接入方案有以下三种：

运维接入 - 内网路由接入

云管理员通过安全的路径直接接入到内网，云管理员可以分配内网External_OM网段中一个IP，也可以分配一个单独的网段，如果是单独的网段，此网段的网关需要配置在交换机的Public VRF内。
通过内网路由方式访问，需要满足以下要求：
- 华为云Stack LLD模板中3.1 IP&VLAN中红色斜体的网络平面必须规划为客户内网可以访问的IP。
- 在防火墙增加安全规则，允许云管理员接入的IP访问DMZ域的所有IP和端口。
内网路由接入流量模型
- 云管理员通过路由的方式可以访问Public域内所有网段，可以访问所有需要访问的地址。
- 云管理员如果需要访问DMZ域内的虚拟机，云管理员的访问流量通过管理墙从Public域切换到DMZ域，管理墙已经配置策略，允许云管理员的IP可以访问DMZ域的所有IP和端口。
通过内网路由方式访问，需要满足以下要求：
- 华为云Stack LLD模板中3.1 IP&VLAN中红色斜体的网络平面必须规划为客户内网可以访问的IP。
- 在防火墙增加安全规则，允许云管理员接入的IP访问DMZ域的所有IP和端口。

运维接入 - 外网SSL-VPN接入

云管理员通过外网接入，在管理墙配置SSL VPN网关，为云管理员创建一条安全的云内接入通道。外网SSL-VPN接入需要配置并满足以下条件：
- 管理墙创建SSL VPN实例，为SSL VPN实例配置公网地址。
- SSL VPN实例中创建用户和授权角色。
- SSL VPN实例配置可分配IP地址池和可访问的内网网段。
- 配置安全策略，允许网络扩展用户可以访问内网所有资源。
SSL-VPN接入流量模型
- 云管理员登录SSL-VPN的网关地址，如果SSL-VPN的网关地址是域名，那么SSL-VPN域名和SSL-VPN公网IP的对应关系已经配置在公网DNS，如果是第一次通过域名方式登录SSL-VPN网关，操作系统会通过DNS查询SSL-VPN网关域名对应的网关地址，公网DNS会返回此域名对应的网关地址。
- 云管理员登录到SSL-VPN网关，填写SSL-VPN账户的用户名和密码，SSL-VPN认证通过后，为云管理分配一个内网IP。
- 云管理员访问内网IP地址的请求会发送到SSL-VPN网关所在的管理墙，管理墙把此请求在转换为对内网地址的访问。

运维接入 - 外网通过跳板机接入

云管理员通过外网接入，云管理员登陆到云内跳板机，通过跳板机访问云内其他的管理网段。外网通过跳板机做运维访问需要满足以下条件：
- 云内部署了堡垒机、跳板机或跳板虚拟机，为堡垒机/跳板机/跳板虚拟机分配一个DMZ_Service网段的地址，为堡垒机/跳板机/跳板虚拟机准备一个公网IP（外网可以访问的IP）。
- 管理墙配置NAT，把堡垒机/跳板机/跳板虚拟机的公网IP，NAT成堡垒机/跳板机/跳板虚拟机的内部地址。
- 管理墙放通Internet到DMZ域堡垒机/跳板机/跳板虚拟机地址的访问规则。
- 管理墙放通堡垒机/跳板机/跳板虚拟机的DMZ_Service地址到Public域所有网段和端口的访问规则。
跳板机接入流量模型
- 1)云管理员访问跳板机的公网IP地址，流量会引到管理墙，管理墙做DNAT。
- 2)DNAT之后的流量引到跳板机。
- 3)云管理员通过跳板机访问管理区各运维界面。

部署设计、资源设计、服务设计、缩略语

看这篇文章