Spark概述
Spark-RDD概述
Spark-RDD-依赖关系
-
在Apache Spark中，RDD（Resilient Distributed Dataset）是一种基本的抽象数据结构，代表了分布式的、不可变的数据集。
-
RDD之间的依赖关系在Spark中非常重要，因为它们决定了Spark作业的执行流程和优化方式。
- 依赖关系描述了RDD之间的转换关系以及它们之间的依赖关系。简单来说，它指的是RDD之间如何相互关联的。
-
RDD只支持粗粒度转换，即在大量记录上执行的单个操作。
-
将创建RDD的一系列Lineage（血统）记录下来，以便恢复丢失的分区。
-
RDD的Lineage会记录RDD的元数据信息和转换行为，当该RDD的部分分区数据丢失时，它可以根据这些信息来重新运算和恢复丢失的数据分区。
在Spark中，RDD的依赖关系分为两种类型：窄依赖（Narrow Dependency）和宽依赖（Wide Dependency）。
1.窄依赖
-
窄依赖发生在父RDD的每个分区最多只被子RDD的一个分区所使用的情况下。
-
这意味着每个父RDD的分区只需要传输给子RDD的对应分区，而不需要进行数据的混洗（shuffle）操作。
-
窄依赖通常发生在一对一的转换操作，比如map、filter等。
-
因为每个父RDD分区的数据只会被用于生成一个子RDD分区，所以数据的分区关系可以被简单地维护。
2.宽依赖
-
宽依赖发生在父RDD的每个分区可以被子RDD的多个分区所使用的情况下。
-
这意味着在子RDD的计算过程中，需要将父RDD的数据进行混洗操作，以确保正确的数据分区被传输给子RDD的各个分区。
-
宽依赖通常发生在需要进行数据混洗的操作 ，比如groupByKey、reduceByKey等。
-
因为这些操作需要将具有相同键的数据重新分组到同一个分区中，所以需要进行数据的混洗。
具有宽依赖的transformations包括：sort、reduceByKey、groupByKey、join和调用rePartition函数的任何操作。
宽依赖对Spark去评估一个transformations有更加重要的影响，比如对性能的影响。
在不影响业务要求的情况下，要尽量避免使用有宽依赖的转换算子，因为有宽依赖，就一定会走shuffle，影响性能。
3.作业、阶段和任务的关系
当执行一个Spark作业时，Spark会将作业划分为多个阶段（Stage）。这个划分过程基于RDD的依赖关系以及数据的分区情况。
3.1作业（Job）：
-
作业是由一系列RDD的转换操作组成的有向无环图（DAG）。
-
DAG中的每个节点代表一个RDD的转换操作，每个边表示一个RDD之间的依赖关系。
-
作业的执行是惰性的，只有当遇到一个动作操作（Action）时，Spark才会开始执行作业。
3.2阶段（Stage）：
- 一个阶段包含了一组可以并行计算的任务，这些任务可以在相同的数据上独立地运行。
- 阶段的划分基于RDD之间的依赖关系。每当遇到一个宽依赖（Wide Dependency），即需要进行数据混洗（shuffle）的操作，就会划分出一个新的阶段。
- 每个阶段中的任务都会处理上一个阶段输出的数据，这些数据被分区为任务数量相等的数据块。
3.3任务（Task）：
-
任务是作业执行的最小单位，它们由Executor上的线程执行。
-
每个任务都会处理一个RDD分区的数据，这些数据来自上一个阶段的相应分区。
-
任务的数量通常等于上一个阶段输出的RDD分区的数量。
-
任务之间可以在不同节点上并行执行，但是同一个任务内部是串行执行的。