【Spark Core】(三)RDD的持久化

1 RDD的数据是过程数据

  • RDD之间进行相互迭代计算(Transform转换),当执行开启后,新的RDD生成,老的RDD消失
  • RDD的数据是过程数据,只在处理的过程中存在,一旦处理完成就不见了。
  • 这个特性可以最大化利用资源,老的RDD没用了,就从内存中清除,给后续的计算腾出内存。

2 RDD缓存

  • RDD缓存:Spark提供了缓存API,可以通过调用API将指定的RDD数据保留在内存或硬盘上

  • 缓存在设计上认为是不安全的,会保存前置RDD的血缘关系

  • 缓存是分散存储的

    RDD3被两次使用,可以加入缓存进行优化

    rdd.cache() # 缓存到内存中
    rdd.persist(StorageLevel.MEMORY_ONLY) # 仅内存缓存
    rdd.persist(StorageLevel.MEMORY_ONLY_2) # 仅内存缓存,2副本
    rdd.persist(StorageLevel.DISK_ONLY) # 仅磁盘缓存
    rdd.persist(StorageLevel.DISK_ONLY_2) # 仅磁盘缓存,2副本
    rdd.persist(StorageLevel.MEMORY_AND_DISK) # 先缓存到内存,不够缓存到硬盘
    rdd.persist(StorageLevel.MEMORY_AND_DISK_2) # 先缓存到内存,不够缓存到硬盘,2副本
    rdd.persist(StorageLevel.OFF_HEAP) # 堆外内存(系统内存)

    一般建议使用rdd3.persist(StorageLevel.MEMORY_AND_DISK)

    内存较小的集群,建议使用rdd3.persist(StorageLevel.DISK_ONLY) 或使用CheckPoint

    主动清理缓存的API

    rdd.unperisist()

3 RDD CheckPoint

  • CheckPoint仅支持硬盘缓存(HDFS)

  • CheckPoint设计上认为是安全的,不保留血缘关系

  • CheckPoint是集中收集各个分区数据进行存储的

    设置CheckPoint第一件事:选择CP的保存路径

    如果是local模式,可以支持本地文件系统,如果在集群运行,务必用HDFS

    sc.setCheckpointDir("hdfs://node1:8020/output/aaa123ckp")

    使用时直接调用checkpoint算子即可

    rdd.checkpoint()

4 缓存 VS CheckPoint

  • CheckPoint不论分区数量多少,风险一致;缓存分区越多,风险越高
  • CheckPoint支持写入HDFS;缓存不支持。HDFS是高可靠存储,CheckPoint被认为是安全的
  • CheckPoint不支持内存;缓存支持。缓存如果写内存,性能比CheckPoint好
  • CheckPoint设计上认为是安全的,所以不保留血缘关系;缓存设计上认为是不安全的,所以保留血缘关系。
相关推荐
代码匠心12 小时前
从零开始学Flink:数据转换的艺术
java·大数据·flink
武子康3 天前
大数据-102 Spark Streaming 与 Kafka 集成全解析:Receiver 与 Direct 两种方式详解 附代码案例
大数据·后端·spark
FreeCode4 天前
StarRocks表设计之数据分布策略
大数据
FreeCode4 天前
StarRocks表设计之表类型的选择
大数据
poemyang4 天前
绯闻女孩不只会八卦:从“验明正身”到“抓内鬼”,Gossip的进阶玩法
分布式
isfox4 天前
Hadoop 1.x 与 2.x 版本对比:架构演进与核心差异解析
大数据
货拉拉技术4 天前
货拉拉离线大数据跨云迁移-综述篇
大数据·云原生
Lx3524 天前
Hadoop与实时计算集成:Lambda架构实践经验
大数据·hadoop
武子康4 天前
大数据-101 Spark Streaming 有状态转换详解:窗口操作与状态跟踪实战 附多案例代码
大数据·后端·spark
expect7g5 天前
COW、MOR、MOW
大数据·数据库·后端