【spark面试题】RDD容错机制

Persist：
Persist可以将数据存储在本地（如内存）和磁盘中。当选择存储在内存中时（如使用persist(StorageLevel.MEMORY_ONLY)），数据会尽可能地保存在内存中以提供快速的访问速度。这种方式适合数据量较小，能够在内存中容纳的情况。例如，在一个简单的数据分析任务中，中间结果数据集较小，通过将其存储在内存中，可以在后续的操作中快速地读取和处理。
当内存不足时，也可以设置存储级别为内存和磁盘混合（如persist(StorageLevel.MEMORY_AND_DISK)），部分数据会溢出到磁盘。这样可以处理比内存容量更大的数据集，但访问磁盘上的数据会比访问内存中的数据慢。
Checkpoint：
Checkpoint的数据保存在可靠的存储系统中，如HDFS（Hadoop Distributed File System）。HDFS是一个分布式文件系统，具有高容错性，数据会被复制到多个节点上。这种存储方式保证了数据的可靠性和持久性，即使某个节点出现故障，数据仍然可以从其他副本中恢复。例如，在处理大规模的数据集，并且需要长期保存中间结果或者最终结果以用于后续的审计或者其他用途时，Checkpoint机制将数据存储在HDFS这种可靠的存储系统中就非常合适。

Persist：
Persist在程序结束时会清除保存的数据。它主要是为了在一个Spark作业的生命周期内，提高中间结果的复用性。例如，在一个复杂的Spark作业中有多个阶段，某个阶段生成的RDD在后续的阶段中可能会被多次使用。通过Persist机制，可以将这个RDD存储起来，避免每次使用时都重新计算。但是一旦整个作业完成，这些被Persist的数据就没有必要再保留，系统会自动清除它们，以释放资源。
Checkpoint：
Checkpoint程序结束时仍然保存。这是因为Checkpoint通常用于保存一些重要的、需要长期保存的数据点，比如在机器学习模型训练过程中的关键模型参数、大规模数据处理后的最终结果等。这些数据在程序结束后可能还会被用于其他目的，如模型评估、结果验证等，所以需要长期保留在可靠的存储系统中。

Persist：
Persist保存时会保存RDD间的依赖关系。这使得在需要重新计算某些数据时，Spark可以根据保存的依赖关系，从已经存储的RDD开始，通过转换操作逐步重新生成丢失或者需要更新的数据。例如，一个RDD是通过对另一个RDD进行过滤操作得到的，当需要重新计算这个过滤后的RDD时，Spark可以利用之前保存的依赖关系和原始的RDD，重新执行过滤操作来得到正确的结果。
Checkpoint：
Checkpoint保存时不保存RDD间依赖关系。这是因为Checkpoint主要关注的是数据本身的保存，其目的是提供一个数据的快照。在恢复数据时，是从Checkpoint存储的位置直接读取数据，而不是通过依赖关系重新计算。这样可以提高数据恢复的效率，尤其是当原始的依赖关系复杂或者计算成本较高时，直接从Checkpoint读取数据可以更快地恢复作业的状态。