分布式程序中YARN中的角色

YARN

ResuourceManagerNodeManager

MR程序中

主管进程:MrApplicationMaster

任务进程:YarnChild

YarnChild 运行MapTask和 ReduceTask

Spark程序中

主管进程:Driver

任务进程:Executor

Executor运行shuffleMapTask 和 resultTask

Flink程序中

主管进程:JobManager

任务进程**:** TaskManager

TaskManager运行 SourceTask、SinkTask、OpreatorTask

相关推荐
Data 31744 分钟前
Hive数仓操作(十)
大数据·数据库·数据仓库·hive·hadoop
ON.LIN44 分钟前
Hadoop大数据入门——Hive-SQL语法大全
大数据·数据库·hive·hadoop·分布式·sql
Elastic 中国社区官方博客1 小时前
Elasticsearch 开放推理 API 增加了对 Google AI Studio 的支持
大数据·数据库·人工智能·elasticsearch·搜索引擎
cndes1 小时前
大数据算法的思维
大数据·算法·支持向量机
青云交2 小时前
大数据新视界 --大数据大厂之 Kafka 性能优化的进阶之道:应对海量数据的高效传输
大数据·数据库·人工智能·性能优化·kafka·数据压缩·分区策略·磁盘 i/o
奔跑吧邓邓子10 小时前
大数据利器Hadoop:从基础到实战,一篇文章掌握大数据处理精髓!
大数据·hadoop·分布式
说私域11 小时前
基于定制开发与2+1链动模式的商城小程序搭建策略
大数据·小程序
hengzhepa12 小时前
ElasticSearch备考 -- Async search
大数据·学习·elasticsearch·搜索引擎·es
GZ_TOGOGO13 小时前
【2024最新】华为HCIE认证考试流程
大数据·人工智能·网络协议·网络安全·华为
狼头长啸李树身15 小时前
眼儿媚·秋雨绵绵窗暗暗
大数据·网络·服务发现·媒体