定义: 并行度是指Spark任务可以同时执行的子任务（Task）的数量。
分区数: 一个RDD（弹性分布式数据集）被分成多个分区，每个分区对应一个Task。
因此，分区数直接决定了并行度的上限。这是因为如果分区数小于并行度，即使设置的并行度很大，但是没有那么多分区数来运行，所以实际的并行度会比设置的并行度小。
分区数是并行度的上限，但并行度不一定等于分区数。
一个分区对应一个Task，因此分区数决定了最多可以同时执行多少个Task。
Executor数量和核心数: Executor是Spark执行任务的工作单元，每个Executor可以同时执行多个Task。Executor的数量和每个Executor的核数共同决定了Spark集群的总计算资源，从而影响实际的并行度。
Executor数量和核心数决定了实际的并行度: Executor数量和核心数共同决定了Spark集群的总计算资源，从而影响实际的并行度。
分区数: 通常设置为集群中CPU核数的2-3倍。
同时设置并行度和分区数时，并行度小于分区数：Spark会以并行度为准，只启动与并行度相等的Task。剩余的分区会在后续的调度中被执行。
同时设置并行度和分区数时，并行度大于分区数：Spark会忽略多余的并行度设置，并以分区数为准。
动态分区：在Spark中，动态分区（Dynamic Partitioning）是一种在写入数据到Hive表时，根据数据本身的属性来决定分区键的值，从而实现自动分区的功能。与静态分区需要预先定义分区键不同，动态分区使得分区更加灵活，能够适应不断变化的数据。
窄依赖：父rdd的一个分区，全部将数据发给子rdd的一个分区
宽依赖 ：父rdd的一个分区，将数据发给子rdd的多个分区。宽依赖也叫做shuffle。
**stage：**通常，从后向前，遇到宽依赖时，就会划分一个新的Stage。