Hadoop的组成,HDFS架构,YARN架构概述

Hadoop的组成

Hadoop1.X时代,Hadoop中的MapReduce同时处理业务逻辑运算和资源的调度,耦合性较大。

Hadoop2.X时代,增加了Yarn,Yarn只负责资源的调度,MapReduce只负责运算。

Hadoop3.X时代,在组成上并没有变化。

一共有四个组成部分:MapReduce计算,Yarn资源调度,HDFS数据存储,Common辅助工具。

HDFS架构

Hadoop Distributed File System, 简称HDFS,是一个分布式文件系统。

(1)NameNode(nn):存储文件的元数据,如文件名,文件目录结构,文件属性(生成时间,副本数,文件权限),以及每个文件的块列表和块所在的DataNode等。

(2)DataNode(dn):在本地文件系统存储文件块数据,以及块数据的校验和。

(3)Secondary NameNode(2nn): 每隔一段时间对NameNode元数据备份。

YARN架构概述

Yet Another Resource Negotiator,简称YARN,另一种资源协调者,是Hadoop的资源管理器。

(1)ResourceManager(RM):整个集群资源(内存,CPU等)的老大

(2)NodeManager(NM): 单个节点服务器资源老大

(3)Application Master(AM): 单个任务运行的老大

(4)Container: 容器,相当于一台独立的服务器,里面封装了任务运行时所需要的资源:如内存、cpu、磁盘、网络等等。

相关推荐
FAQEW3 分钟前
MongDB和MySQL的区别
数据库·mysql·mongdb·区别
码农飞哥5 分钟前
互联网大厂Java面试实战:Spring Boot到微服务的技术问答解析
java·数据库·spring boot·缓存·微服务·消息队列·面试技巧
张人玉40 分钟前
数据可视化大屏——物流大数据服务平台(二)
大数据·信息可视化
niechel44 分钟前
02-GBase 8s 事务型数据库 客户端工具dbaccess
数据库
扫地生大鹏1 小时前
Mysql-OCP PPT课程讲解并翻译
数据库
掘金-我是哪吒1 小时前
分布式微服务系统架构第126集:集群,数据库扩展,多节点分布,分库,分表,分片,分表,运维
运维·数据库·分布式·微服务·系统架构
wangbing11251 小时前
window server 2012安装sql server2008 r2
数据库
码上飞扬1 小时前
深入解析MySQL联合查询(UNION):案例与实战技巧
数据库·mysql
Leo.yuan1 小时前
数据分析怎么做?高效的数据分析方法有哪些?
大数据·数据库·信息可视化·数据挖掘·数据分析
zm2 小时前
网络编程epoll和udp
服务器·网络·数据库