Hadoop组成

Hadoop1.x、Hadoop2.x、Hadoop3.x区别

Hadoop1.x组成:

Hdfs(数据存储)

Common(辅助工具)

MapReduce(计算+资源调度)

Hadoop2.x组成:

HDFS(数据存储)

Common(辅助工具)

Yarn(资源调度)

Mapreduce(计算)

在Hadoop1.x时代,Hadoop中的MapReduce同时处理业务逻辑运算和资源的调度,耦合性较大

在Hadoop2.x时代,增加了Yarn,Yarn只负责资源的调度,Mapreduce只负责运算。

Hadoop3.x在组成上没有变化

HDFS架构概述

Hadoop Distributed FileSystem,简称HDFS,是一个分布式文件系统

Namenode(NN):记录每一个文件块存储的位置

存储文件的元数据,如文件名,文件目录结构,文件属性(生成时间,副本数,文件权限),以及每个文件的块列表和块所在的DataNode等

Datanode(DN):具体存储数据,在本地文件系统存储文件块数据,以及块数据的校验和

2NN(Secondary NameNode):辅助Namenode工作,每隔一段时间对Namenode元数据备份

Yarn架构概述

Yet Another Resource Negotiator简称YARN,另一种资源协调者,是Hadoop的资源管理器

主要管理的就是CPU和内存

ResourceManager(RM):

整个集群资源(内存,CPU等)的老大

NodeManager(NM):单个节点服务器资源老大

Container:容器,相当一台独立的服务器,里面封装了任务运行所需要的资源,如内存,CPU,磁盘,网络等

ApplicationMaster(AM):单个任务运行的老大,任务在Container里面运行,用完就可以释放,更灵活

说明:

客户端可以有多个

集群上可以运行多个ApplicationMaster

每个NodeManager上可以有多个Container

到底可以运行多少个:

一个Container容器默认内存是1-8G

Mapreduce架构概述

Mapreduce将计算过程分为两个阶段:Map和Reduce

Map阶段并行处理输入数据

Reduce阶段对Map结果进行汇总

相关推荐
金融小师妹4 小时前
多因子关联模型:黄金与铜价同步回落背后的金融变量及PPI传导分析
大数据·人工智能·金融
TDengine (老段)15 小时前
TDengine IDMP 功能点—数据接入
大数据·数据库·物联网·时序数据库·tdengine·涛思数据
bksczm16 小时前
InnoDB 通用表空间与临时表空间详解
大数据·数据库·mysql
阿里云大数据AI技术17 小时前
AI 原生大数据服务 ADA 快速入门:完成首次对话式数据分析
大数据·人工智能
衡石科技18 小时前
企业级 BI 的安全治理:衡石如何贯通认证、数据权限与审计
大数据·人工智能·安全·商业智能
stark张宇20 小时前
分布式事务方案设计与选型思考:2PC、TCC
分布式·架构
yyk3332421 小时前
Flink详细讲解
大数据·flink
用户46043852250861 天前
关于paimon-rust 数据写入链路
大数据
数字融合1 天前
透明化视频驱动化工生产动态三维重建管控技术
大数据·人工智能·python
演艺大赏1 天前
两个 NameNode 一起起不来以及Hadoop 3.3.2 里那个认不出自家 JournalNode 的 Servlet
大数据·hadoop