五、YARN

YARN

YARN

yarn是下一代MapReduce(借助了面向函数式编程 面向对象 --> new对象 --> 对象操作 面向函数编程 对象都是实例化 --> 函数(有返回值的方法)的实现 计算模型 --> 它的写法是固定的 你就按照流程写 然后hadoop就能帮你实现计算过程 继承 Configured 实现 Tool --> ToolRunner ),即MRv2,是在第一代MapReduce基础上演变而来的,主要是为了解决原始Hadoop扩展性较差,不支持多计算框架而提出的,通俗讲是资源管理器的。

HDFS --> 管理hadoop的硬盘

YARN --> 管理的hadoop的内存和cpu

HADOOP --> 是一台电脑

HADOOP 这台电脑的可执行程序 --> MapReduce --> 拿HDFS 数据 --> 通过YRAN分配非它的内存和CPU进行数据计算

其核心思想:将MR1中资源管理和作业调用两个功能分开,分别由ResourceManager和ApplicationMaster进程来实现。

1)ResourceManager :负责整个集群的资源管理和调度;任务(MapReduce wordcount) 资源

2)ApplicationMaster :负责应用程序相关事务,比如任务调度、任务监控和容错等。任务

相关推荐
QYR-分析21 小时前
全地形轮足机器人行业发展分析:分类、格局与市场机遇
大数据·人工智能·机器人
ybwycx21 小时前
PostgreSQL 中进行数据导入和导出
大数据·数据库·postgresql
尺度商业21 小时前
纳思达更名奔图科技,一场品牌与资本市场价值的战略校准
大数据·人工智能·科技
青槿吖21 小时前
告别RestTemplate!Feign让微服务调用像点外卖一样简单
java·开发语言·分布式·spring cloud·微服务·云原生·架构
zhougl99621 小时前
Git 命令速查手册
大数据·git·elasticsearch
努力成为一个程序猿.21 小时前
Flink运行时架构
大数据·架构·flink
weyyhdke21 小时前
RabbitMQ 集群部署方案
分布式·rabbitmq·ruby
BizViewStudio1 天前
GEO vs SEO vs SEM:2026 年品牌流量获取的三元格局分析
大数据·运维·网络·人工智能·ai
TDengine (老段)1 天前
工业系统中的高级分析:超越工业实时数据库
大数据·数据库·人工智能·时序数据库·tdengine
JackSparrow4141 天前
使用Elasticsearch代替数据库like以加快查询的各种技术方案+实现细节
大数据·clickhouse·elk·elasticsearch·搜索引擎·postgresql·全文检索