五、YARN

YARN

YARN

yarn是下一代MapReduce(借助了面向函数式编程 面向对象 --> new对象 --> 对象操作 面向函数编程 对象都是实例化 --> 函数(有返回值的方法)的实现 计算模型 --> 它的写法是固定的 你就按照流程写 然后hadoop就能帮你实现计算过程 继承 Configured 实现 Tool --> ToolRunner ),即MRv2,是在第一代MapReduce基础上演变而来的,主要是为了解决原始Hadoop扩展性较差,不支持多计算框架而提出的,通俗讲是资源管理器的。

HDFS --> 管理hadoop的硬盘

YARN --> 管理的hadoop的内存和cpu

HADOOP --> 是一台电脑

HADOOP 这台电脑的可执行程序 --> MapReduce --> 拿HDFS 数据 --> 通过YRAN分配非它的内存和CPU进行数据计算

其核心思想:将MR1中资源管理和作业调用两个功能分开,分别由ResourceManager和ApplicationMaster进程来实现。

1)ResourceManager :负责整个集群的资源管理和调度;任务(MapReduce wordcount) 资源

2)ApplicationMaster :负责应用程序相关事务,比如任务调度、任务监控和容错等。任务

相关推荐
知识分享小能手10 分钟前
Hadoop学习教程,从入门到精通, MapReduce分布式计算框架 — 完整知识点与代码案例(4)
hadoop·学习·mapreduce
团象科技11 分钟前
从一线实操案例拆解不同出海团队落地海外VPS运维独立站的路径细节
大数据·数据库·人工智能
yinmaisoft12 分钟前
JNPF 三大主流行业解决方案,按需定制
大数据·低代码·开发工具
王牌狮AIen36 分钟前
AI营销智能体实战:OPC如何重构自主获客闭环?
大数据·人工智能·重构·数据挖掘·geo·ai营销
上海达策TECHSONIC1 小时前
零售ERP选型解析:SAP Business One 适配成长型零售企业的核心逻辑
大数据·运维·人工智能·云计算·运维开发·零售
凯源智能1 小时前
屋顶分布式光伏箱变远程测控实战:宝鸡法士特项目高效交付解析
分布式
大大大大晴天️1 小时前
Hudi技术内幕:Query Types全解析
大数据·hudi
serve the people1 小时前
Elasticsearch(5) i want to monitor the es health from a http api
大数据·http·elasticsearch
2601_959477912 小时前
Vatee:外汇行情信息呈现与技术架构如何影响体验,给出一套细节
大数据·人工智能·安全·ux
Kepler18742 小时前
注射器与输液器厂分布在哪里?全国主要产区梳理
大数据·其他