五、YARN

YARN

YARN

yarn是下一代MapReduce(借助了面向函数式编程 面向对象 --> new对象 --> 对象操作 面向函数编程 对象都是实例化 --> 函数(有返回值的方法)的实现 计算模型 --> 它的写法是固定的 你就按照流程写 然后hadoop就能帮你实现计算过程 继承 Configured 实现 Tool --> ToolRunner ),即MRv2,是在第一代MapReduce基础上演变而来的,主要是为了解决原始Hadoop扩展性较差,不支持多计算框架而提出的,通俗讲是资源管理器的。

HDFS --> 管理hadoop的硬盘

YARN --> 管理的hadoop的内存和cpu

HADOOP --> 是一台电脑

HADOOP 这台电脑的可执行程序 --> MapReduce --> 拿HDFS 数据 --> 通过YRAN分配非它的内存和CPU进行数据计算

其核心思想:将MR1中资源管理和作业调用两个功能分开,分别由ResourceManager和ApplicationMaster进程来实现。

1)ResourceManager :负责整个集群的资源管理和调度;任务(MapReduce wordcount) 资源

2)ApplicationMaster :负责应用程序相关事务,比如任务调度、任务监控和容错等。任务

相关推荐
ACP广源盛139246256733 分钟前
IX7008 PCIe 交换芯片@ACP#RTX Spark 经济型 8 口扩展芯片(对比 ASM1806)
大数据·人工智能·分布式·嵌入式硬件·gpt·spark·电脑
lauo18 分钟前
碳基心脏最后的堡垒——ibbot青春版:你的随身Token生产厂
大数据·人工智能·chatgpt·智能手机·ai-native
TDengine (老段)24 分钟前
TDengine 扫描算子 — TableScan、TagScan 与下推优化
大数据·数据库·物联网·时序数据库·tdengine·涛思数据
ACP广源盛1392462567339 分钟前
IX6012 PCIe 交换芯片@ACP#RTX Spark 入门级 12 口存储外设扩展方案(对比 ASM1812)
大数据·人工智能·分布式·嵌入式硬件·gpt·spark·电脑
KANGBboy1 小时前
hive UDF函数
数据仓库·hive·hadoop
加速财经1 小时前
体育赛事如何与数字互动结合?世界杯期间用户参与模式的新尝试
大数据
雨辰AI1 小时前
从零搭建大模型本地运行环境|Python+CUDA 基础配置避坑大全
大数据·开发语言·人工智能·python·ai·ai编程·ai写作
乐迪信息2 小时前
乐迪信息:港口船舶偏航难监管,AI智能监测实时发出预警提醒
大数据·人工智能·安全·计算机视觉·目标跟踪
m0_719084112 小时前
es我的笔记
大数据·笔记·elasticsearch
他们叫我技术总监2 小时前
Kettle(PDI)连接TDengine数据库实战:一个有趣的小现象
大数据·数据库·tdengine