PySpark学习笔记4-共享变量,内核调度

共享变量

解决方案一-广播变量

将本地列表标记成广播变量

可以实现降低内存占用和减少网络IO传输,提高性能

python 复制代码
boradcast = sc.boardcast(stu_info_list)
value = broadcast.value

解决方案二-累加器

python 复制代码
acmlt = sc.accumulator(0)

可以收集执行器的执行结果并作用在自己的身上
Spark内核调度

DAG:有向五环图

一个action会产生一个DAG

一个DAG运行会产生一个job

一个代码运行起来包含叫做Application,包含多job

DAG和分区关联后,可以得到有分区关系的DAG图
DAG的宽窄依赖和阶段划分

窄依赖:父RDD的一个分区,将全部数据发给子RDD的一个分区

宽依赖: 父RDD的一个分区会将数据发给子RDD的多个分区

宽依赖还有一个别名shuffle

对于Spark过程,会按照宽依赖划分不同的DAG阶段,从后向前,遇到一个宽依赖就换分出一个阶段,成为stage,二每个stage的内部一定都是窄依赖
面试题1

spark怎么做内存计算的?DAG的作用?stage阶段划分的作用?

spark会使用DAG图进行内存计算,DAG图会根据分区和宽窄依赖划分阶段,每一个阶段饿的内部都是窄依赖,这些内存迭代计算的管道形成一个个具体的执行任务,一个任务对应一个线程,任务在线程中运行,就是在进行内存计算。
面试题2

spark为什么mapreduce计算效率快?

spark的算子丰富,mapreduce算子匮乏,很多复杂的人物需要多个mapreduc进行串联,通过磁盘交互数据

spark可以执行内存迭代,听过形成DAG并基于依赖划分阶段后,在阶段内可以形成内存迭代管道,但是map使用硬盘进行交互的,spark可以使用更多的内存计算而不是磁盘迭代

spark程序的调度流程如图所示

1.driver被构建出来

2.构建spark Context:执行环境入口对象

3.基于DAG调度器构建逻辑任务分配

4.基于任务调度器将逻辑任务分配到各个执行器上干活,并监控他们

5.执行器被任务调度器监控,听从他们的指令工作,并定期汇报工作进度

driver的两个重要组件:DAG调度器和task调度器

相关推荐
future14129 分钟前
C#学习日记
开发语言·学习·c#
Yo_Becky16 分钟前
【PyTorch】PyTorch预训练模型缓存位置迁移,也可拓展应用于其他文件的迁移
人工智能·pytorch·经验分享·笔记·python·程序人生·其他
DIY机器人工房34 分钟前
0.96寸OLED显示屏 江协科技学习笔记(36个知识点)
笔记·科技·stm32·单片机·嵌入式硬件·学习·江协科技
future14122 小时前
每日问题总结
经验分享·笔记
我是小哪吒2.02 小时前
书籍推荐-《对抗机器学习:攻击面、防御机制与人工智能中的学习理论》
人工智能·深度学习·学习·机器学习·ai·语言模型·大模型
✎ ﹏梦醒͜ღ҉繁华落℘3 小时前
WPF学习(四)
学习·wpf
✎ ﹏梦醒͜ღ҉繁华落℘3 小时前
WPF学习(动画)
学习·wpf
循环过三天4 小时前
3-1 PID算法改进(积分部分)
笔记·stm32·单片机·学习·算法·pid
生如夏花℡4 小时前
HarmonyOS学习记录3
学习·ubuntu·harmonyos
之歆4 小时前
Python-封装和解构-set及操作-字典及操作-解析式生成器-内建函数迭代器-学习笔记
笔记·python·学习