spark:一些概念如并行度、分区数、task,stage等

定义: 并行度是指Spark任务可以同时执行的子任务(Task)的数量。

分区数: 一个RDD(弹性分布式数据集)被分成多个分区,每个分区对应一个Task。

因此,分区数直接决定了并行度的上限。这是因为如果分区数小于并行度,即使设置的并行度很大,但是没有那么多分区数来运行,所以实际的并行度会比设置的并行度小。

分区数是并行度的上限,但并行度不一定等于分区数。

一个分区对应一个Task,因此分区数决定了最多可以同时执行多少个Task。

Executor数量和核心数: Executor是Spark执行任务的工作单元,每个Executor可以同时执行多个Task。Executor的数量和每个Executor的核数共同决定了Spark集群的总计算资源,从而影响实际的并行度。

Executor数量和核心数决定了实际的并行度: Executor数量和核心数共同决定了Spark集群的总计算资源,从而影响实际的并行度。

分区数: 通常设置为集群中CPU核数的2-3倍。

同时设置并行度和分区数时,并行度小于分区数:Spark会以并行度为准,只启动与并行度相等的Task。剩余的分区会在后续的调度中被执行。

同时设置并行度和分区数时,并行度大于分区数:Spark会忽略多余的并行度设置,并以分区数为准。

动态分区:在Spark中,动态分区(Dynamic Partitioning)是一种在写入数据到Hive表时,根据数据本身的属性来决定分区键的值,从而实现自动分区的功能。与静态分区需要预先定义分区键不同,动态分区使得分区更加灵活,能够适应不断变化的数据。

窄依赖:父rdd的一个分区,全部将数据发给子rdd的一个分区

宽依赖 :父rdd的一个分区,将数据发给子rdd的多个分区。宽依赖也叫做shuffle。

**stage:**通常,从后向前,遇到宽依赖时,就会划分一个新的Stage。

相关推荐
华子w9089258593 小时前
基于 Python Django 和 Spark 的电力能耗数据分析系统设计与实现7000字论文实现
python·spark·django
小新学习屋8 小时前
Spark从入门到熟悉(篇三)
大数据·分布式·spark
Aurora_NeAr1 天前
Spark SQL架构及高级用法
大数据·后端·spark
百度Geek说2 天前
搜索数据建设系列之数据架构重构
数据仓库·重构·架构·spark·dubbo
大数据CLUB3 天前
基于spark的航班价格分析预测及可视化
大数据·hadoop·分布式·数据分析·spark·数据可视化
小新学习屋3 天前
Spark从入门到熟悉(篇一)
大数据·分布式·spark
Cachel wood12 天前
Spark教程6:Spark 底层执行原理详解
大数据·数据库·分布式·计算机网络·spark
大数据CLUB12 天前
基于pyspark的北京历史天气数据分析及可视化_离线
大数据·hadoop·数据挖掘·数据分析·spark
Cachel wood12 天前
Spark教程1:Spark基础介绍
大数据·数据库·数据仓库·分布式·计算机网络·spark