分布式程序中YARN中的角色

YARN

ResuourceManagerNodeManager

MR程序中

主管进程:MrApplicationMaster

任务进程:YarnChild

YarnChild 运行MapTask和 ReduceTask

Spark程序中

主管进程:Driver

任务进程:Executor

Executor运行shuffleMapTask 和 resultTask

Flink程序中

主管进程:JobManager

任务进程**:** TaskManager

TaskManager运行 SourceTask、SinkTask、OpreatorTask

相关推荐
Mr_LiYYD16 小时前
elasticsearch数据迁移
大数据·elasticsearch·搜索引擎
dalianwawatou16 小时前
GitLab 代码基础操作清单
大数据·elasticsearch·gitlab
Costrict17 小时前
解锁新阵地!CoStrict 现已支持 JetBrains 系列 IDE
大数据·ide·人工智能·深度学习·自然语言处理·ai编程·visual studio
阿里云大数据AI技术17 小时前
云栖实录|阿里云 Milvus:AI 时代的专业级向量数据库
大数据·人工智能·搜索引擎
vivo互联网技术18 小时前
vivo HDFS EC 大规模落地实践
大数据·hdfs
QYResearch19 小时前
2025-2031年我国葡萄糖年产量和市场规模
大数据
QYResearch19 小时前
2025-2031年全球磷矿石市场规模和增长趋势
大数据
Hello.Reader19 小时前
Flink DataStream「全分区窗口处理」mapPartition / sortPartition / aggregate / reduce
大数据·python·flink
soso(找工作版21 小时前
【阿里巴巴大数据之路】事实表设计
大数据
我星期八休息1 天前
C++智能指针全面解析:原理、使用场景与最佳实践
java·大数据·开发语言·jvm·c++·人工智能·python