大数据学习(29)-spark on yarn底层原理

&&大数据学习&&

🔥系列专栏: 👑哲学语录: 承认自己的无知,乃是开启智慧的大门

💖如果觉得博主的文章还不错的话,请点赞👍+收藏⭐️+留言📝支持一下博主哦🤞


Spark on Yarn的底层原理以下几个方面:

  1. 资源申请与调度:Spark通过YARN的接口向ResourceManager申请资源。ResourceManager根据集群的状态和应用程序的需求,为Spark分配相应的资源。Spark接收到资源后,通过YARN的接口与NodeManager通信,请求启动任务。
  2. 任务分配与执行:Spark ApplicationMaster启动后,会向ResourceManager注册并获取任务。然后,ApplicationMaster会根据任务的依赖关系和执行顺序,将任务分配给各个NodeManager执行。NodeManager负责启动和监控任务,并将任务的执行状态和结果报告给ApplicationMaster。
  3. 容错机制:YARN提供了容错机制,当某个NodeManager出现故障时,ResourceManager会重新为Spark分配资源,确保任务能够正常运行。
  4. 资源回收:当Spark应用程序完成后,ApplicationMaster会向ResourceManager注销,并释放资源。ResourceManager会将资源回收并重新分配给其他应用程序使用。

总的来说,Spark on Yarn的底层原理是通过YARN的资源管理和调度机制,为Spark应用程序提供资源分配、任务执行和容错处理等功能。

相关推荐
lingling00927 分钟前
艾利特机器人:光伏机器人如何重塑清洁能源制造新格局
大数据·人工智能·算法
新讯网27 分钟前
智合新材携先进陶瓷材料亮相2025西安先进制造及国防科技产业博览会
大数据·人工智能·制造
xinzheng新政28 分钟前
纸板制造胶工艺学习1
学习·制造
格发许可优化管理系统34 分钟前
GTSuite许可证性能优化建议
大数据·运维·数据库·安全·性能优化·数据分析
楼田莉子1 小时前
C++学习之继承
开发语言·c++·学习·visual studio
IvanCodes2 小时前
一、初识 Linux 与基本命令
大数据·linux·运维
电商API_180079052472 小时前
微店商品详情接口micro.item_get请求参数响应参数解析
大数据·数据库·人工智能·爬虫
武子康2 小时前
大数据-55 Kafka 实战详解:sh启动、主题管理、Java客户端完整示例
大数据·后端·kafka
Asu52023 小时前
思途SQL学习 0729
数据库·sql·学习
千层冷面4 小时前
git中多仓库工作的常用命令
大数据·elasticsearch·github