分布式程序中YARN中的角色

YARN

ResuourceManager 和NodeManager

MR程序中

主管进程:MrApplicationMaster

任务进程:YarnChild

YarnChild 运行MapTask和 ReduceTask

Spark程序中

主管进程:Driver

任务进程:Executor

Executor运行shuffleMapTask 和 resultTask

Flink程序中

主管进程:JobManager

任务进程**:** TaskManager

TaskManager运行 SourceTask、SinkTask、OpreatorTask

相关推荐
千桐科技14 分钟前
大模型落地不“纸上谈兵”:qKnow专业版用原生MCP为AI装上“手脚”
大数据·人工智能·qknow
小天源18 分钟前
智叟云集系统适用场景与业务实践
大数据·人工智能
考拉讲支付22 分钟前
分账系统怎么对接?从零搭建平台分账体系的完整技术指南
大数据
财税数字化38 分钟前
日韩泰票据与欧美发票混合入账怎么选?开灵科技与海外厂商优劣势对比
大数据·人工智能·科技·ocr·软件选型·票据识别
数字新视界1 小时前
信创机房动环监控的核心功能与智能运维管理实践
大数据·物联网·信息可视化·信息与通信·一体化机柜
renhongxia11 小时前
RAG检索增强生成:打通大模型与外部知识的通道
大数据·人工智能·算法
QYR-分析1 小时前
2.80 亿增至 4.12 亿美元,CAGR5.6%:肌电诱发电位仪稳健扩容,神经电生理检测设备加速走向便携与数字化
大数据·网络·人工智能
宇哥(mf️取5r)1 小时前
环评验收屡次卡壳,模块化危废间该如何匹配新标准?
大数据·人工智能·制造
人工智能培训3 小时前
边缘AI与大模型轻量化:让智能跑进每一个终端
大数据·人工智能·算法·重构·生活
产业家3 小时前
当数据走向理解,如何重构一个企业级 AI 数据平台?
大数据·人工智能