定义: 并行度是指Spark任务可以同时执行的子任务(Task)的数量。
分区数: 一个RDD(弹性分布式数据集)被分成多个分区,每个分区对应一个Task。
因此,分区数直接决定了并行度的上限。这是因为如果分区数小于并行度,即使设置的并行度很大,但是没有那么多分区数来运行,所以实际的并行度会比设置的并行度小。
分区数是并行度的上限,但并行度不一定等于分区数。
一个分区对应一个Task,因此分区数决定了最多可以同时执行多少个Task。
Executor数量和核心数: Executor是Spark执行任务的工作单元,每个Executor可以同时执行多个Task。Executor的数量和每个Executor的核数共同决定了Spark集群的总计算资源,从而影响实际的并行度。
Executor数量和核心数决定了实际的并行度: Executor数量和核心数共同决定了Spark集群的总计算资源,从而影响实际的并行度。
分区数: 通常设置为集群中CPU核数的2-3倍。
同时设置并行度和分区数时,并行度小于分区数:Spark会以并行度为准,只启动与并行度相等的Task。剩余的分区会在后续的调度中被执行。
同时设置并行度和分区数时,并行度大于分区数:Spark会忽略多余的并行度设置,并以分区数为准。
动态分区:在Spark中,动态分区(Dynamic Partitioning)是一种在写入数据到Hive表时,根据数据本身的属性来决定分区键的值,从而实现自动分区的功能。与静态分区需要预先定义分区键不同,动态分区使得分区更加灵活,能够适应不断变化的数据。
窄依赖:父rdd的一个分区,全部将数据发给子rdd的一个分区
宽依赖 :父rdd的一个分区,将数据发给子rdd的多个分区。宽依赖也叫做shuffle。
**stage:**通常,从后向前,遇到宽依赖时,就会划分一个新的Stage。