分布式程序中YARN中的角色

YARN

ResuourceManagerNodeManager

MR程序中

主管进程:MrApplicationMaster

任务进程:YarnChild

YarnChild 运行MapTask和 ReduceTask

Spark程序中

主管进程:Driver

任务进程:Executor

Executor运行shuffleMapTask 和 resultTask

Flink程序中

主管进程:JobManager

任务进程**:** TaskManager

TaskManager运行 SourceTask、SinkTask、OpreatorTask

相关推荐
桃林春风一杯酒6 小时前
HADOOP_HOME and hadoop.home.dir are unset.
大数据·hadoop·分布式
桃木山人6 小时前
BigData File Viewer报错
大数据·java-ee·github·bigdata
B站计算机毕业设计超人7 小时前
计算机毕业设计Python+DeepSeek-R1高考推荐系统 高考分数线预测 大数据毕设(源码+LW文档+PPT+讲解)
大数据·python·机器学习·网络爬虫·课程设计·数据可视化·推荐算法
数造科技7 小时前
紧随“可信数据空间”政策风潮,数造科技正式加入开放数据空间联盟
大数据·人工智能·科技·安全·敏捷开发
逸Y 仙X10 小时前
Git常见命令--助力开发
java·大数据·git·java-ee·github·idea
caihuayuan411 小时前
PHP建立MySQL持久化连接(长连接)及mysql与mysqli扩展的区别
java·大数据·sql·spring
B站计算机毕业设计超人11 小时前
计算机毕业设计Hadoop+Spark+DeepSeek-R1大模型民宿推荐系统 hive民宿可视化 民宿爬虫 大数据毕业设计(源码+LW文档+PPT+讲解)
大数据·hadoop·爬虫·机器学习·课程设计·数据可视化·推荐算法
(; ̄ェ ̄)。11 小时前
在nodejs中使用ElasticSearch(二)核心概念,应用
大数据·elasticsearch·搜索引擎
一个儒雅随和的男子12 小时前
Elasticsearch除了用作查找以外,还能可以做什么?
大数据·elasticsearch·搜索引擎
Sui_Network12 小时前
Sui 如何支持各种类型的 Web3 游戏
大数据·数据库·人工智能·游戏·web3·区块链