尚硅谷课程【笔记】——大数据之Hadoop【一】

课程视频链接:尚硅谷Hadoop2.x框架入门

一、大数据概论

1)大数据概念

大数据(Big Data):指无法再一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合,是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产

大数据主要解决:海量数据(TB、PB、EB)的存储和海量数据的分析计算

2)大数据特点(5V)

  • Volume (大量):数据规模巨大,从TB到PB甚至EB级别。

  • Velocity**(高速)**:数据生成、处理和分析的速度快(如实时流数据)。

  • Variety (多样):数据类型的多样性(结构化、半结构化、非结构化数据等)。

起源 :2001年由Gartner分析师Doug Laney首次提出,作为大数据的核心定义

  • Veracity(真实性):数据的质量和可信度(如噪声、不确定性、数据来源的可靠性)。

    背景 :IBM等企业强调数据质量对分析结果的影响,因此将其纳入核心特征。

  • Value (价值):指的是数据价值密度相对较低,即海量数据中只有少数是有价值的信息

3)大数据部门组织结构


二、从Hadoop框架讨论大数据生态

1)Hadoop是什么?

  • Hadoop是由Apache基金会所开发的分布式系统基础架构
  • 从广义上来说,Hadoop指一个更广泛的概念------Hadoop生态圈。

2)Hadoop三大发行版本

Hadoop三大发行版本:Apache、Cloudera、Hortonworkds

Apache版本是最原始、最基础的版本,对入门学习最好。

Xloudera在大型互联网企业中用的较多(收费)。

Hortonworks文档较好。

Apache Hadoop:

官网地址:https://hadoop.apache.org/releases.html


3)Hadoop的优势

1)高可靠性:Hadoop底层维护多个数据副本,所以即使Hadoop某个计算元素或存储出现故障,也不会导致数据的丢失。

2)高扩展性:在集群间分配任务数据,可方便的扩展数以千计的节点。

3)高效性:在MpaReduce的思想下,Hadoop是并行工作的,以加快任务处理速度。

4)高容错性:能够自动将失败的任务重新分配。


4)Hadoop组成(重点)

在Hadoop1.x中,MapReduce同时处理业务逻辑运算资源调度耦合性较大;在Hadoop2.x中,增加了Yarn部分,由Yarn负责资源的调度,降低了耦合性。

HDFS架构概述

1)NameNode(nn):存储文件的元数据(文件名、文件目录结构文件属性等),以及每个文件的块列表和块所在的DataNode等。

2)DataNode(dn):在本地文件系统存储文件块数据,以及块数据的校验和。

3)Secondary NameNode(2nn):用来监控HDFS状态的辅助后台程序,每隔一段时间获取HDFS元数据的快照。

Yarn架构概述

1)**ResourceManager(RM)**主要作用:

(1)处理客户端请求

(2)监控NodeManager

(3)启动或监控ApplicationMaster

(4)资源的分配和调度

2)**NodeManager(NM)**主要作用:

(1)管理单个节点上的资源

(2)处理来自ResourceManager的命令

(3)处理来自ApplicationMaster的命令

3)**ApplicationMaster(AM)**作用:

(1)负责数据的切分

(2)为应用程序申请资源,并分配给内部的任务

(3)任务的监控与容错

4)Container

Container是YARN中的资源抽象,它封装了某个节点上的多维度资源,如内存、CPU、磁盘、网络等。

MapReduce架构概述

MapReduce将计算分为两个阶段:Map阶段Reduce阶段

1)Map阶段负责并行处理输入数据

2)Reduce阶段对Map结果进行汇总


5)大数据技术生态体系

相关推荐
GIS数据转换器2 分钟前
2025无人机在农业生态中的应用实践
大数据·网络·人工智能·安全·无人机
武子康13 分钟前
大数据-132 Flink SQL 实战入门 | 3 分钟跑通 Table API + SQL 含 toChangelogStream 新写法
大数据·后端·flink
Lion Long35 分钟前
PB级数据洪流下的抉择:从大数据架构师视角,深度解析时序数据库选型与性能优化(聚焦Apache IoTDB)
大数据·性能优化·apache·时序数据库·iotdb
Lx3521 小时前
Flink背压机制:原理与调优策略
大数据
Lx3521 小时前
Flink容错机制:Checkpoint和Savepoint深入解析
大数据
QQ5416451212 小时前
【小增长电商软件分享】微信私域淘宝电商补单/做基础销量:如何有效控制粉丝错货、复购、订单插旗及客服转账返款等常见痛点|粉丝订单管理|电商鱼塘运营方案
大数据·电商私域粉丝管理·电商私域运营系统解决方案·粉丝订单关系系统
字节跳动数据平台3 小时前
多模态数据湖技术深化,Data Agent新能力发布!“认知”将决定企业上限
大数据
字节跳动数据平台4 小时前
得物×火山引擎:Data Agent驱动财务管理智能升级
大数据
想ai抽4 小时前
Spark的shuffle类型与对比
大数据·数据仓库·spark
智海观潮4 小时前
JVM垃圾回收器、内存分配与回收策略
java·大数据·jvm