大数据学习(29)-spark on yarn底层原理

&&大数据学习&&

🔥系列专栏: 👑哲学语录: 承认自己的无知,乃是开启智慧的大门

💖如果觉得博主的文章还不错的话,请点赞👍+收藏⭐️+留言📝支持一下博主哦🤞


Spark on Yarn的底层原理以下几个方面:

  1. 资源申请与调度:Spark通过YARN的接口向ResourceManager申请资源。ResourceManager根据集群的状态和应用程序的需求,为Spark分配相应的资源。Spark接收到资源后,通过YARN的接口与NodeManager通信,请求启动任务。
  2. 任务分配与执行:Spark ApplicationMaster启动后,会向ResourceManager注册并获取任务。然后,ApplicationMaster会根据任务的依赖关系和执行顺序,将任务分配给各个NodeManager执行。NodeManager负责启动和监控任务,并将任务的执行状态和结果报告给ApplicationMaster。
  3. 容错机制:YARN提供了容错机制,当某个NodeManager出现故障时,ResourceManager会重新为Spark分配资源,确保任务能够正常运行。
  4. 资源回收:当Spark应用程序完成后,ApplicationMaster会向ResourceManager注销,并释放资源。ResourceManager会将资源回收并重新分配给其他应用程序使用。

总的来说,Spark on Yarn的底层原理是通过YARN的资源管理和调度机制,为Spark应用程序提供资源分配、任务执行和容错处理等功能。

相关推荐
叼烟扛炮4 小时前
[LangChain] 学习笔记(09):工具(Tool)定义与调用闭环 · 理论+实战完整版
笔记·学习·langchain
个 人 练 习 生4 小时前
C++:从零基础到深入了解vector的使用
开发语言·c++·经验分享·学习·程序人生·stl
Rabitebla5 小时前
【Linux操作系统】 文件篇(一):文件描述符与 Linux 文件管理机制
linux·网络·c++·笔记·学习
wuyk5557 小时前
Spider-第16讲-线程池与竞态问题
大数据·爬虫·python·elasticsearch·搜索引擎
旖旎夜光8 小时前
【C++ 基础入门】智能指针:RAII、unique_ptr 与 shared_ptr 循环引用
c++·笔记·学习·智能指针
zdr尽职尽责10 小时前
终端工具凭空消失:Codex + GPT-6 的一次完整排障复盘
数据库·gpt·学习·ai
数字新视界11 小时前
全国产化动环监控平台在机房智能化管理中的应用探索
大数据·人工智能·数据中心·机房管理·模块化机房
蒸蒸yyyyzwd12 小时前
计算机网络后端面试错题
笔记·学习
TDengine (老段)12 小时前
TDengine IDMP 预测、异常检测与数据插补
大数据·数据库·人工智能·时序数据库·tdengine·涛思数据·idmp
艾莉丝努力练剑13 小时前
【AI大模型接入SDK】C++的SessionManager 线程安全
java·开发语言·前端·c++·人工智能·学习·安全