五、YARN

YARN

YARN

yarn是下一代MapReduce(借助了面向函数式编程 面向对象 --> new对象 --> 对象操作 面向函数编程 对象都是实例化 --> 函数(有返回值的方法)的实现 计算模型 --> 它的写法是固定的 你就按照流程写 然后hadoop就能帮你实现计算过程 继承 Configured 实现 Tool --> ToolRunner ),即MRv2,是在第一代MapReduce基础上演变而来的,主要是为了解决原始Hadoop扩展性较差,不支持多计算框架而提出的,通俗讲是资源管理器的。

HDFS --> 管理hadoop的硬盘

YARN --> 管理的hadoop的内存和cpu

HADOOP --> 是一台电脑

HADOOP 这台电脑的可执行程序 --> MapReduce --> 拿HDFS 数据 --> 通过YRAN分配非它的内存和CPU进行数据计算

其核心思想:将MR1中资源管理和作业调用两个功能分开,分别由ResourceManager和ApplicationMaster进程来实现。

1)ResourceManager :负责整个集群的资源管理和调度;任务(MapReduce wordcount) 资源

2)ApplicationMaster :负责应用程序相关事务,比如任务调度、任务监控和容错等。任务

相关推荐
deepdata_cn26 分钟前
“深数据” vs “大数据”
大数据·bigdata·深数据·deepdata
数字化转型20253 小时前
SAP Signavio 在风机制造行业的深度应用研究
大数据·运维·人工智能
sheji34164 小时前
【开题答辩全过程】以 基于大数据的城市租房数据的分析与可视化为例,包含答辩的问题和答案
大数据
Augustvic4 小时前
消息队列Kafka
分布式·kafka
一只废狗狗狗狗狗狗狗狗狗5 小时前
基于docker desktop的hadoop集群结点启动失败问题
hadoop·docker·docker desktop
java1234_小锋6 小时前
Zookeeper分布式锁如何实现?
分布式·zookeeper·云原生
Biehmltym6 小时前
【AI】09AI Agent LLM → Streaming → Session 记录 的完整链路
大数据·人工智能·elasticsearch
Data-Miner7 小时前
精品PPT | 某制造集团灯塔工厂解决方案
大数据·人工智能·制造
小湘西8 小时前
Elasticsearch 的一些默认配置上下限
java·大数据·elasticsearch
`林中水滴`9 小时前
SeaTunnel vs Flume
大数据·flume