大家好呀!我是reload。今天来带大家学习一下腾讯云计算工程师认证篇的云计算核心技术与分层架构部分,包括虚拟化、软件定义网络(SDN)、分布式分析处理、分布式存储、云服务管理以及云安全,了解云计算分层架构在助力企业上云和数字化转型方面的作用和意义。
一、云计算核心技术
云计算核心技术包括虚拟化、软件定义网络(SDN)、分布式分析处理,分布式存储、云服务管理以及云安全
。
1、虚拟化技术
1.1 概述
虚拟化技术作为一种基于硬件的虚拟化手段,允许在一台物理计算机上同时运行多个独立的操作系统实例
。
优点:较强的隔离性和灵活性 => 每个虚拟机都能运行自己的应用程序,拥有自己的操作系统和资源
简言之,虚拟化技术即通过在物理硬件上创建虚拟机
,来实现计算资源的灵活分配。
1.2 如何理解?
这不,马上就快双十一了,淘宝、京东等电商购物平台需要应对突然激增的访问量,可以通过虚拟化技术,迅速增加服务器资源,确保网站稳定运行。当流量高峰过后,又可以释放这些资源,避免浪费
。这便是虚拟化技术
赋予的弹性伸缩
的能力。
1.3 容器技术
然而,虚拟化技术并非完全没有挑战。
随着版本的迭代,不同版本的兼容性问题逐渐成为运维人员的噩梦。因此,容器技术
便应运而生。
提到容器就不得不提Docker
:
Docker通过将软件运行所需的所有资源,打包到一个隔离的容器中,实现了应用及其运行环境的"一次封装,到处运行"
1.4 虚拟机和容器该如何选择?
虚拟机由于强隔离性和独立性,适合对安全性要求较高
的场景。而容器则以其轻量级和易部署,更适合快速迭代和弹性扩容
的场景。
容器技术的主要应用场景:运维自动化 和弹性扩 容。
2、软件定义网络(SDN)
传统的网络硬件设备往往是封闭的、难以编程控制的,而SDN技术通过将网络控制与转发功能分离,从而提供了更加灵活的网络资源管理方式
。
作为云计算网络层面的核心技术之一,SDN是一种新型的网络架构。它将网络的控制权从传统的硬件设备中剥离出来,集中到一个统一的控制器上
。
该控制器就像是网络的大脑,负责制定网络的策略,指挥数据包的流向,而网络中的数据转发设备,则变成了执行命令的士兵,只负责根据控制器的指令,进行数据包的处理和转发。
优点:在SDN架构下 => 只需通过开放的API接口,向控制器发送简单的指令,就可以实现全网的动态调整
正如云计算将计算资源池化,实现了计算能力的按需分配,SDN也在网络层面实现了类似的变革,使得网络变得更加智能、灵活和可编程。
3、分布式分析处理
3.1 核心概述
在云计算平台上,经常需要处理海量数据,分布式分析处理通过将数据分散到多个节点并行处理
,极大提高了数据处理的速度。
假设有一个大型的文本文件,包含许多人的观点,如Somebody is right和Somebody is wrong。
那么,如何实现统计正确和错误观点的数量?
有映射阶段(Mapping)和缩减阶段(Reducing)
两个主要阶段,各阶段及相关的具体实现如下:
1)映射阶段(Mapping)
数据被分割且并行处理
,将大文件分割成多个小文件,然后为每个小文件分配一个Mapping任务,Mapping任务的主要目的是读取输入数据并生成中间键值对
。如键可能是right或wrong,值是其出现的次数。
2)Shuffling(洗牌)阶段 包括排序和传输
两个步骤。首先,系统会对map任务的输出进行排序,将具有相同键的值放在一起
,然后这些被排序后的数据会被Reducing任务作为输入。
3)缩减阶段(Reducing)
具有相同键的值被合并
,并进行最终处理。
3.2 功能特点
分布式分析的5个功能特点:
1)并行处理
通过将任务分解成多个子任务并行处理,可以有效处理大规模数据,提高处理效率。
2)容错性
当某个节点发生故障时,分布式分析系统会自动执行失败的任务,确保数据处理的可靠性。
3)可扩展性
分布式分析系统可以轻松扩展到大规模集群,以应对不断增长的数据量。
4)抽象简化
分布式分析将并行处理的复杂性进行抽象,使开发人员能够更专注于业务逻辑,而无需关注底层的并行处理细节。
5)适应性广泛
分布式分析适用于各种数据处理任务,如数据清洗、日志分析、搜索索引构建等。
简言之,即多副本、容错机制、并行处理、适合大数据的处理
4、分布式存储
4.1 定义
将数据分散存储在多个物理节点上
,确保了数据的可靠性
和可用性
,实现了更好的扩展性
、更大的容量以及更好的性能指标。
4.2 特点
1)高可用性
分布式存储系统通过将数据复制到多个节点,提供了更高的可靠性和冗余
,即使某个节点发送故障,数据仍可从其他节点获取,保证数据的可用性。
2)数据一致性
分布式存储系统采用了副本同步
和一致性协议
等技术,确保在多个节点进行数据更新时,所有节点的数据最终保持一致。
拿我们熟悉的QQ在线文档为例,当多个人同时编辑同一份文档时,分布式存储可以确保更改实时同步,而不会出现数据冲突或不一致的情况。
3)高扩展性
5、云服务管理
云服务管理助力于企业数字化转型,通过提供统一的管理平台,使企业能够集中管理和监控各种云服务。
以OpenStack云平台为例:
IaaS 层通过OpenStack等平台,为企业提供计算、存储和网络等资源
,其中,keystone组件负责身份认证
,只有授权用户才能访问资源。nova组件负责管理计算资源
,如虚拟机的创建、销毁和迁移。cinder组件负责存储管理
,为虚拟机提供持久化存储。neutron组件负责网络管理
,实现虚拟网络的隔离和互通。这些组件协同工作,为企业构建了一个灵活高效的基础设施平台。
eg:淘宝在双十一期间,通过IaaS层的
弹性扩展
能力,成功应对了流量激增的挑战,保障了业务的顺利进行。
PaaS 层为开发人员提供了一个集成的开发环境,包括数据库、中间件和开发工具等
,使开发人员可以专注于应用的开发和创新,而无需关心底层基础设施的管理。
eg:某移动应用开发为例,开发团队利用PaaS平台提供的开发工具和数据库服务,快速构建并上线了一款移动应用,极大缩短了应用的开发周期。
SaaS 层提供了各种应用服务,如ERP、邮件系统等,用户无需安装和维护软件,只需通过互联网即可访问和使用这些应用
,同时降低了软件的部署和维护成本,使企业能够快速获取和使用最新的软件功能。
eg:某企业通过SaaS模式部署ERP系统,实现了财务、人力资源等业务的管理,提高了工作效率。
6、云安全
在云计算环境中,数据安全至关重要。云安全技术通过提供多层次的安全防护措施,如数据加密、身份认证、访问控制
等,确保企业数据和应用的安全。
以虚拟私有云VPC为例,它可以为用户提供一个隔离的、私有的云网络环境,确保用户数据的安全。
二、云计算分层架构
1、云计算基础分层架构
云计算的三个层次共同构成了一个灵活、高效、可扩展的云计算体系,在此体系下,企业可以更专注于自身的核心业务,实现数字化转型和升级。
2、分层技术优势
分层技术优势主要体现如下:
3、拓展
1)当前主流云服务提供商有哪些?
国外:亚马逊云(AWS),微软云(Azure),谷歌云,IBM云,红帽云等
国内:腾讯云,阿里云,华为云,金山云等
2)当前主流云平台技术有哪些?
开源:OpenStack
非开源:各大公司自研技术 [基于docker,k8s等]
4、OpenStack架构
OpenStack整体架构如下:
相关的服务名称及功能描述如下:
好了,以上就是今天这篇文章的全部内容了。如果你想及时看到我的文章,只需做这几个动作:点星标、点在看(包括赞)、评论、分享,我就会经常出现在您的常读列表,后面更新都会提醒。感谢大家的关注和支持,祝大家生活美满,学业有成,事业蒸蒸日上!
最后,星标设置如下:
如下即设置成功!
往期精彩文章推荐(点击下方蓝字即可阅读!)
往期推荐
<>
什么是数据中心和云计算?
<>
<>
华为认证HCIA篇--网络参考模型及应用层、传输层协议
<>
<>
<>
<>
<>
<>
<>
<>
Docker有哪些常见命令?什么是Docker数据卷?
<>
<>
2分钟带你快速了解什么是MyBatisPlus及其核心功能!
<>
<>
<>