Hadoop的组成,HDFS架构,YARN架构概述

Hadoop的组成

Hadoop1.X时代,Hadoop中的MapReduce同时处理业务逻辑运算和资源的调度,耦合性较大。

Hadoop2.X时代,增加了Yarn,Yarn只负责资源的调度,MapReduce只负责运算。

Hadoop3.X时代,在组成上并没有变化。

一共有四个组成部分:MapReduce计算,Yarn资源调度,HDFS数据存储,Common辅助工具。

HDFS架构

Hadoop Distributed File System, 简称HDFS,是一个分布式文件系统。

(1)NameNode(nn):存储文件的元数据,如文件名,文件目录结构,文件属性(生成时间,副本数,文件权限),以及每个文件的块列表和块所在的DataNode等。

(2)DataNode(dn):在本地文件系统存储文件块数据,以及块数据的校验和。

(3)Secondary NameNode(2nn): 每隔一段时间对NameNode元数据备份。

YARN架构概述

Yet Another Resource Negotiator,简称YARN,另一种资源协调者,是Hadoop的资源管理器。

(1)ResourceManager(RM):整个集群资源(内存,CPU等)的老大

(2)NodeManager(NM): 单个节点服务器资源老大

(3)Application Master(AM): 单个任务运行的老大

(4)Container: 容器,相当于一台独立的服务器,里面封装了任务运行时所需要的资源:如内存、cpu、磁盘、网络等等。

相关推荐
七夜zippoe3 分钟前
Agent 上线第一天就炸了:6 个生产事故的根因分析与修复记录
大数据·ai·agent·根因分析·修复记录
Pniubi1 小时前
MySQL靠什么实现事务的?事务隔离级别有哪些?
java·数据库·mysql
数据库小学妹2 小时前
pgbouncer 事务池:prepared statement、临时表与会话状态
数据库·后端·postgresql
字节跳动数据平台2 小时前
不重拍,也能换道具、换商品、换画风?短剧转漫、电商换款新解法来了
大数据
武子康2 小时前
攻击动作做对了,游戏规则就对了吗?H3-World 与三条控制路线的分工
大数据·人工智能·agent
Lucifer三思而后行3 小时前
最近折腾了一下金仓数据库的备份恢复
数据库·备份恢复
Lansonli4 小时前
大数据Spark(八十七):Spark-Submit 参数详解
大数据·分布式·spark
cc5725026534 小时前
数据科学与大数据技术专业考证清单有哪些?
大数据
草莓熊Lotso4 小时前
【C++ 基于微服务的即时通讯系统】文件存储子服务实战:UUID生成、文件IO封装与全接口单元测试
开发语言·网络·数据库·c++·微服务·架构·单元测试
进击的荆棘5 小时前
MySQL——库的操作
数据库·mysql