腾讯云计算工程师认证篇--云计算核心技术与分层架构

大家好呀！我是reload。今天来带大家学习一下腾讯云计算工程师认证篇的云计算核心技术与分层架构部分，包括虚拟化、软件定义网络（SDN）、分布式分析处理、分布式存储、云服务管理以及云安全，了解云计算分层架构在助力企业上云和数字化转型方面的作用和意义。

一、云计算核心技术

云计算核心技术包括虚拟化、软件定义网络（SDN）、分布式分析处理，分布式存储、云服务管理以及云安全。

1、虚拟化技术

1.1 概述

虚拟化技术作为一种基于硬件的虚拟化手段，允许在一台物理计算机上同时运行多个独立的操作系统实例。

优点：较强的隔离性和灵活性 => 每个虚拟机都能运行自己的应用程序，拥有自己的操作系统和资源

简言之，虚拟化技术即通过在物理硬件上创建虚拟机，来实现计算资源的灵活分配。

1.2 如何理解？

这不，马上就快双十一了，淘宝、京东等电商购物平台需要应对突然激增的访问量，可以通过虚拟化技术，迅速增加服务器资源，确保网站稳定运行。当流量高峰过后，又可以释放这些资源，避免浪费。这便是虚拟化技术赋予的弹性伸缩的能力。

1.3 容器技术

然而，虚拟化技术并非完全没有挑战。

随着版本的迭代，不同版本的兼容性问题逐渐成为运维人员的噩梦。因此，容器技术便应运而生。

提到容器就不得不提Docker：

Docker通过将软件运行所需的所有资源，打包到一个隔离的容器中，实现了应用及其运行环境的"一次封装，到处运行"

1.4 虚拟机和容器该如何选择？

虚拟机由于强隔离性和独立性，适合对安全性要求较高的场景。而容器则以其轻量级和易部署，更适合快速迭代和弹性扩容的场景。

容器技术的主要应用场景：运维自动化 和弹性扩 容。

2、软件定义网络（SDN）

传统的网络硬件设备往往是封闭的、难以编程控制的，而SDN技术通过将网络控制与转发功能分离，从而提供了更加灵活的网络资源管理方式。

作为云计算网络层面的核心技术之一，SDN是一种新型的网络架构。它将网络的控制权从传统的硬件设备中剥离出来，集中到一个统一的控制器上。

该控制器就像是网络的大脑，负责制定网络的策略，指挥数据包的流向，而网络中的数据转发设备，则变成了执行命令的士兵，只负责根据控制器的指令，进行数据包的处理和转发。

优点：在SDN架构下 => 只需通过开放的API接口，向控制器发送简单的指令，就可以实现全网的动态调整

正如云计算将计算资源池化，实现了计算能力的按需分配，SDN也在网络层面实现了类似的变革，使得网络变得更加智能、灵活和可编程。

3、分布式分析处理

3.1 核心概述

在云计算平台上，经常需要处理海量数据，分布式分析处理通过将数据分散到多个节点并行处理，极大提高了数据处理的速度。

假设有一个大型的文本文件，包含许多人的观点，如Somebody is right和Somebody is wrong。

那么，如何实现统计正确和错误观点的数量？

有映射阶段（Mapping）和缩减阶段（Reducing）两个主要阶段，各阶段及相关的具体实现如下：

1）映射阶段（Mapping）

数据被分割且并行处理，将大文件分割成多个小文件，然后为每个小文件分配一个Mapping任务，Mapping任务的主要目的是读取输入数据并生成中间键值对。如键可能是right或wrong，值是其出现的次数。

2）Shuffling（洗牌）阶段包括排序和传输两个步骤。首先，系统会对map任务的输出进行排序，将具有相同键的值放在一起，然后这些被排序后的数据会被Reducing任务作为输入。

3）缩减阶段（Reducing）

具有相同键的值被合并，并进行最终处理。

3.2 功能特点

分布式分析的5个功能特点：

1）并行处理

通过将任务分解成多个子任务并行处理，可以有效处理大规模数据，提高处理效率。

2）容错性

当某个节点发生故障时，分布式分析系统会自动执行失败的任务，确保数据处理的可靠性。

3）可扩展性

分布式分析系统可以轻松扩展到大规模集群，以应对不断增长的数据量。

4）抽象简化

分布式分析将并行处理的复杂性进行抽象，使开发人员能够更专注于业务逻辑，而无需关注底层的并行处理细节。

5）适应性广泛

分布式分析适用于各种数据处理任务，如数据清洗、日志分析、搜索索引构建等。

简言之，即多副本、容错机制、并行处理、适合大数据的处理

4、分布式存储

4.1 定义

将数据分散存储在多个物理节点上，确保了数据的可靠性和可用性，实现了更好的扩展性、更大的容量以及更好的性能指标。

4.2 特点

1）高可用性

分布式存储系统通过将数据复制到多个节点，提供了更高的可靠性和冗余，即使某个节点发送故障，数据仍可从其他节点获取，保证数据的可用性。

2）数据一致性

分布式存储系统采用了副本同步和一致性协议等技术，确保在多个节点进行数据更新时，所有节点的数据最终保持一致。

拿我们熟悉的QQ在线文档为例，当多个人同时编辑同一份文档时，分布式存储可以确保更改实时同步，而不会出现数据冲突或不一致的情况。

3）高扩展性

5、云服务管理

云服务管理助力于企业数字化转型，通过提供统一的管理平台，使企业能够集中管理和监控各种云服务。

以OpenStack云平台为例：

IaaS 层通过OpenStack等平台，为企业提供计算、存储和网络等资源，其中，keystone组件负责身份认证，只有授权用户才能访问资源。nova组件负责管理计算资源，如虚拟机的创建、销毁和迁移。cinder组件负责存储管理，为虚拟机提供持久化存储。neutron组件负责网络管理，实现虚拟网络的隔离和互通。这些组件协同工作，为企业构建了一个灵活高效的基础设施平台。