分布式程序中YARN中的角色

YARN

ResuourceManagerNodeManager

MR程序中

主管进程:MrApplicationMaster

任务进程:YarnChild

YarnChild 运行MapTask和 ReduceTask

Spark程序中

主管进程:Driver

任务进程:Executor

Executor运行shuffleMapTask 和 resultTask

Flink程序中

主管进程:JobManager

任务进程**:** TaskManager

TaskManager运行 SourceTask、SinkTask、OpreatorTask

相关推荐
Elastic 中国社区官方博客4 小时前
JavaScript 中的 ES|QL:利用 Apache Arrow 工具
大数据·开发语言·javascript·elasticsearch·搜索引擎·全文检索·apache
lifallen6 小时前
Flink task、Operator 和 UDF 之间的关系
java·大数据·flink
源码宝7 小时前
智慧工地云平台源码,基于微服务架构+Java+Spring Cloud +UniApp +MySql
java·大数据·源码·智慧工地·智能监测·智能施工
XiaoQiong.Zhang8 小时前
简历模板3——数据挖掘工程师5年经验
大数据·人工智能·机器学习·数据挖掘
Faith_xzc9 小时前
Apache Doris FE 问题排查与故障分析全景指南
大数据·数据仓库·apache·doris
潘小磊10 小时前
高频面试之6Hive
大数据·hive·面试·职场和发展
数据与人工智能律师11 小时前
当机床开始“思考”,传统“制造”到“智造”升级路上的法律暗礁
大数据·网络·算法·云计算·区块链
摘星编程12 小时前
华为云Flexus+DeepSeek征文 | 模型即服务(MaaS)安全攻防:企业级数据隔离方案
大数据·人工智能·安全·华为云·deepseek
木鱼时刻13 小时前
从大数据到大模型:我们是否在重蹈覆覆辙
大数据
liuze40814 小时前
VMware虚拟机集群上部署HDFS集群
大数据·hadoop·hdfs