大数据与云计算知识点

一、云计算核心要点

  1. 定义

云计算是基于互联网的动态易扩展、虚拟化资源交付模式,按使用量付费,用户可按需访问含网络、服务器、存储等的计算资源共享池,且无需过多管理干预(美国国家标准与技术研究院NIST定义)。

  1. 核心特征
  • 自我服务:用户可自主调配资源,无需依赖服务方人工操作

  • 按量付费:根据实际资源使用量结算,降低闲置成本

  • 弹性架构:支持资源灵活扩展与收缩,适配业务波动需求

  1. 核心优势
  • 节省硬件采购与维护成本

  • 减少软件许可费用

  • 降低运维团队人力开支

  • 优化系统能耗

  1. 两大分类模式

| 分类维度 | 具体类型 | 特点 |

| 资源归属 | 私有云 | 部署于企业内部,仅面向内部员工使用 |

| | 公有云 | 面向互联网大众,提供开放资源服务 |

| | 混合云 | 融合私有云与公有云,兼顾安全与扩展 |

| 服务模式 | IaaS(基础设施即服务) | 提供基础硬件资源(如网盘、阿里云主机、EC2) |

| | PaaS(平台即服务) | 提供开发与运行平台(如Google Appspot、百度BAE) |

| | SaaS(软件即服务) | 提供直接可用软件应用(如搜索引擎、地图、电商平台) |

| | DaaS(数据即服务) | 提供数据查询、分析等数据服务 |

  1. 关键技术
  • 分布式计算与存储:通过计算集群、存储集群提升处理能力与容量

  • 虚拟化技术:细粒度划分计算资源,提高利用率、降低成本

  • 自动运维技术:实现集群机器自动部署、故障节点自动剔除

  • 计费模式:与业务场景绑定,是云计算商业化核心难点6. 起源与主流平台

  • 起源:亚马逊AWS(含S3存储、EC2虚拟计算等)是云计算商业化开端,核心推动者为亚马逊CTO Werner Vogels

  • 主流平台:

  • OpenStack:开源(Apache许可),含Nova(虚拟服务器部署)、Swift(分布式存储)模块

  • CloudStack:开源,隶属Apache基金会顶级项目

  • Eucalyptus:源于高校研究,已商业化

  • VMware:非开源收费,侧重企业级虚拟化

二、大数据核心要点

  1. 起源
  • 技术源头:Google的GFS(分布式文件系统)、Map-Reduce(并行计算框架)、Big Table(分布式数据库)奠定基础

  • 关键项目:Doug Cutting主导的Hadoop,是大数据核心开源框架

  1. Hadoop 2.0核心组件

| 组件 | 功能 |

| HDFS | 分布式文件系统,提供高可靠、高扩展、高吞吐的海量数据存储 |

| YARN | 集群资源调度器,统一管理计算资源,支撑多任务并行 |

| MapReduce | 分布式计算框架,易编程、高容错、高扩展,适用于批量数据处理 |

  1. Hadoop版本演化
  • 1.0时代:MapReduce同时承担"资源管理"与"数据处理",架构耦合度高

  • 2.0及以后:YARN独立负责资源管理,MapReduce仅聚焦数据处理,支持Spark、Storm等多框架接入

  1. 国内典型应用案例
  • 京东:200-300节点Hadoop集群,为企业及第三方商家提供数据日志分析

  • 淘宝&支付宝:9个集群,单集群超3000节点,日均处理数据2-3PB

  • 百度:约3万节点集群,日均处理数据30PB+,日运行作业超20万次

三、两者关联

云计算为大数据提供弹性、低成本的基础设施支撑(如分布式存储、计算资源池),大数据是云计算的重要应用场景,二者协同推动海量数据高效处理与价值挖掘。

相关推荐
wanhengidc1 天前
云手机的安全保护措施有哪些?
运维·服务器·安全·游戏·智能手机·云计算
扁豆的主人1 天前
Elasticsearch
大数据·elasticsearch·jenkins
UseLessQQ1 天前
10.21云计算作业
云计算
想ai抽1 天前
Flink重启策略有啥用
大数据·flink
TMT星球1 天前
TCL华星t8项目正式开工,总投资额约295亿元
大数据·人工智能
阿里云大数据AI技术1 天前
云栖实录 | 驶入智驾深水区:广汽的“数据突围“之路
大数据·人工智能
B站_计算机毕业设计之家1 天前
python股票交易数据管理系统 金融数据 分析可视化 Django框架 爬虫技术 大数据技术 Hadoop spark(源码)✅
大数据·hadoop·python·金融·spark·股票·推荐算法
腾讯云开发者1 天前
太古可口可乐的数智跃迁:用 AI 重构快消渠道的“最后一公里”
大数据
你什么冠军?1 天前
云计算与服务器概述
运维·服务器·云计算
GIS数据转换器1 天前
2025无人机在农业生态中的应用实践
大数据·网络·人工智能·安全·无人机