Hadoop的组成,HDFS架构,YARN架构概述

Hadoop的组成

Hadoop1.X时代,Hadoop中的MapReduce同时处理业务逻辑运算和资源的调度,耦合性较大。

Hadoop2.X时代,增加了Yarn,Yarn只负责资源的调度,MapReduce只负责运算。

Hadoop3.X时代,在组成上并没有变化。

一共有四个组成部分:MapReduce计算,Yarn资源调度,HDFS数据存储,Common辅助工具。

HDFS架构

Hadoop Distributed File System, 简称HDFS,是一个分布式文件系统。

(1)NameNode(nn):存储文件的元数据,如文件名,文件目录结构,文件属性(生成时间,副本数,文件权限),以及每个文件的块列表和块所在的DataNode等。

(2)DataNode(dn):在本地文件系统存储文件块数据,以及块数据的校验和。

(3)Secondary NameNode(2nn): 每隔一段时间对NameNode元数据备份。

YARN架构概述

Yet Another Resource Negotiator,简称YARN,另一种资源协调者,是Hadoop的资源管理器。

(1)ResourceManager(RM):整个集群资源(内存,CPU等)的老大

(2)NodeManager(NM): 单个节点服务器资源老大

(3)Application Master(AM): 单个任务运行的老大

(4)Container: 容器,相当于一台独立的服务器,里面封装了任务运行时所需要的资源:如内存、cpu、磁盘、网络等等。

相关推荐
秃头摸鱼侠12 分钟前
MySQL查询语句(续)
数据库·mysql
禺垣16 分钟前
知识图谱技术概述
大数据·人工智能·深度学习·知识图谱
MuYiLuck20 分钟前
【redis实战篇】第八天
数据库·redis·缓存
睡觉待开机21 分钟前
6. MySQL基本查询
数据库·mysql
qq_4084133921 分钟前
spark 执行 hive sql数据丢失
hive·sql·spark
后端码匠22 分钟前
Spark 单机模式部署与启动
大数据·分布式·spark
大熊猫侯佩1 小时前
由一个 SwiftData “诡异”运行时崩溃而引发的钩深索隐(三)
数据库·swiftui·swift
大熊猫侯佩1 小时前
由一个 SwiftData “诡异”运行时崩溃而引发的钩深索隐(二)
数据库·swiftui·swift
大熊猫侯佩1 小时前
用异步序列优雅的监听 SwiftData 2.0 中历史追踪记录(History Trace)的变化
数据库·swiftui·swift
大熊猫侯佩1 小时前
由一个 SwiftData “诡异”运行时崩溃而引发的钩深索隐(一)
数据库·swiftui·swift