Hadoop入门之Hadoop的组成

目录

• Hadoop1.x和2.x的区别
• Hadoop组成
• • HDFS
  • YARN
  • MapReduce
• [为什么说MR适合离线 Spark适合实时](#为什么说MR适合离线 Spark适合实时)

Hadoop1.x和2.x的区别

高内聚 低耦合

Hadoop组成

HDFS

HDFS-负责海量数据的存储:

• NameNode（nn）:管理真实数据的元数据的（hdfs集群中的老大）
• DataNode（dn）:主要负责对真实数据块存储（hdfs集群中的小弟）
• SecondaryNameNode（2nn）：主要为NameNode进行一些数据备份 一般恢复数据的时候才会用到它 它也不能保证完全数据恢复

简单来说 假如需要存储500PB的数据到HDFS上

首先会把各个文件数据切割成数据块 默认是128MB/块

nn就像目录一样 记录了某个文件的信息:切成哪两个数据块;各自存在哪个dn上;对应哪个文件等等的信息

dn就是真实存储数据的地方

2nn是nn的秘书 对nn目录的信息每隔一段时间就会备份一次

YARN

• YARN主要负责资源调度
• ResourceManager:统筹管理整个集群的资源 并且负责接收处理客户端作业请求
• NodeManager:负责单独每一台机器的资源管理 实时保证和大哥RM通信
• ApplicationMaster:针对每个请求job的抽象封装
• Container:将来运行在YARN上的每一个任务都会给其分配资源 Container就是当前任务所需资源的抽象封装

没有作业的情况:

包含两种服务 一个RM和多个NM

客户端提交作业的情况:
一个作业会有多个任务 并行运行

数据存的时候是切块

数据算的时候(MR)是切片(逻辑上) 一部分一部分去读取某个数据 每一部分作为一个计算任务

MapReduce

• MapReduce:主要负责数据的计算分析 Map阶段并行处理输入数据 Reduce阶段对Map结果进行汇总
• Map阶段:就是把需要计算的数据按照需求分成多个MapTask任务来执行
  Reduce阶段::把Map阶段处理完的结果拷贝过来 根据需求进行汇总计算

Map-分:映射

Reduce-合:规约

而且每台机器计算的时候 是并行计算 互不干扰

为什么说MR适合离线 Spark适合实时

• MR的两个阶段 会有多次数据的落盘(对磁盘的IO操作很频繁) 所以程序运行的效率较低
• Spark的计算是基于内存的 计算速度很快
• 但是Spark本质上也是借助MapReduce的思想来完成计算的