Hadoop的组成,HDFS架构,YARN架构概述

Hadoop的组成

Hadoop1.X时代,Hadoop中的MapReduce同时处理业务逻辑运算和资源的调度,耦合性较大。

Hadoop2.X时代,增加了Yarn,Yarn只负责资源的调度,MapReduce只负责运算。

Hadoop3.X时代,在组成上并没有变化。

一共有四个组成部分:MapReduce计算,Yarn资源调度,HDFS数据存储,Common辅助工具。

HDFS架构

Hadoop Distributed File System, 简称HDFS,是一个分布式文件系统。

(1)NameNode(nn):存储文件的元数据,如文件名,文件目录结构,文件属性(生成时间,副本数,文件权限),以及每个文件的块列表和块所在的DataNode等。

(2)DataNode(dn):在本地文件系统存储文件块数据,以及块数据的校验和。

(3)Secondary NameNode(2nn): 每隔一段时间对NameNode元数据备份。

YARN架构概述

Yet Another Resource Negotiator,简称YARN,另一种资源协调者,是Hadoop的资源管理器。

(1)ResourceManager(RM):整个集群资源(内存,CPU等)的老大

(2)NodeManager(NM): 单个节点服务器资源老大

(3)Application Master(AM): 单个任务运行的老大

(4)Container: 容器,相当于一台独立的服务器,里面封装了任务运行时所需要的资源:如内存、cpu、磁盘、网络等等。

相关推荐
衣乌安、7 小时前
数据库事务原理与回滚机制
数据库
CodexDave7 小时前
PostgreSQL 明明有索引却选了 Nested Loop:从行数误判修正执行计划
数据库·postgresql·执行计划·扩展统计·nestedloop
阿三08128 小时前
跨境电商售后自动化分级标准:哪些能全自动、哪些半自动、哪些禁止自动化
大数据·人工智能·自动化
czhaii9 小时前
STC ai助手单片机工程项目创建实例
数据库·mongodb
山峰哥9 小时前
数据库性能救星:Explain执行计划深度拆解
服务器·开发语言·数据库·sql·启发式算法
游戏新手村9 小时前
蝴蝶图在餐饮门店数据可视化中的应用
大数据·信息可视化·产品经理·数据可视化
oradh10 小时前
Oracle 11g rac IP地址修改(public ip、vip、scan ip、priviate ip)
数据库·tcp/ip·oracle·rac ip地址修改
YOU OU10 小时前
Redis哨兵 & 集群
数据库·redis·sentinel
小罗水10 小时前
第8章 文档解析与文本切片
数据库·spring·spring cloud·微服务
GlobalHRTalk10 小时前
埃及名义雇主EOR业务概述与市场发展优势分析
大数据·运维·人工智能