【Spark Core】(三)RDD的持久化

1 RDD的数据是过程数据

  • RDD之间进行相互迭代计算(Transform转换),当执行开启后,新的RDD生成,老的RDD消失
  • RDD的数据是过程数据,只在处理的过程中存在,一旦处理完成就不见了。
  • 这个特性可以最大化利用资源,老的RDD没用了,就从内存中清除,给后续的计算腾出内存。

2 RDD缓存

  • RDD缓存:Spark提供了缓存API,可以通过调用API将指定的RDD数据保留在内存或硬盘上

  • 缓存在设计上认为是不安全的,会保存前置RDD的血缘关系

  • 缓存是分散存储的

    RDD3被两次使用,可以加入缓存进行优化

    rdd.cache() # 缓存到内存中
    rdd.persist(StorageLevel.MEMORY_ONLY) # 仅内存缓存
    rdd.persist(StorageLevel.MEMORY_ONLY_2) # 仅内存缓存,2副本
    rdd.persist(StorageLevel.DISK_ONLY) # 仅磁盘缓存
    rdd.persist(StorageLevel.DISK_ONLY_2) # 仅磁盘缓存,2副本
    rdd.persist(StorageLevel.MEMORY_AND_DISK) # 先缓存到内存,不够缓存到硬盘
    rdd.persist(StorageLevel.MEMORY_AND_DISK_2) # 先缓存到内存,不够缓存到硬盘,2副本
    rdd.persist(StorageLevel.OFF_HEAP) # 堆外内存(系统内存)

    一般建议使用rdd3.persist(StorageLevel.MEMORY_AND_DISK)

    内存较小的集群,建议使用rdd3.persist(StorageLevel.DISK_ONLY) 或使用CheckPoint

    主动清理缓存的API

    rdd.unperisist()

3 RDD CheckPoint

  • CheckPoint仅支持硬盘缓存(HDFS)

  • CheckPoint设计上认为是安全的,不保留血缘关系

  • CheckPoint是集中收集各个分区数据进行存储的

    设置CheckPoint第一件事:选择CP的保存路径

    如果是local模式,可以支持本地文件系统,如果在集群运行,务必用HDFS

    sc.setCheckpointDir("hdfs://node1:8020/output/aaa123ckp")

    使用时直接调用checkpoint算子即可

    rdd.checkpoint()

4 缓存 VS CheckPoint

  • CheckPoint不论分区数量多少,风险一致;缓存分区越多,风险越高
  • CheckPoint支持写入HDFS;缓存不支持。HDFS是高可靠存储,CheckPoint被认为是安全的
  • CheckPoint不支持内存;缓存支持。缓存如果写内存,性能比CheckPoint好
  • CheckPoint设计上认为是安全的,所以不保留血缘关系;缓存设计上认为是不安全的,所以保留血缘关系。
相关推荐
闲人编程6 小时前
雪花算法实现分布式环境下的高效动态ID生成
分布式·python·算法·wpf·标识符·雪花·分布式动态id
月屯6 小时前
ElasticSearch
大数据·elasticsearch·搜索引擎
数据智能老司机6 小时前
首选:Kafka 入门
大数据·kafka·消息队列
强盛小灵通专卖员6 小时前
【边缘计算】RK3576算力评估
大数据·人工智能·深度学习·边缘计算·ei会议·中文核心·小论文
Watermelo6176 小时前
复杂计算任务的智能轮询优化实战
大数据·前端·javascript·性能优化·数据分析·云计算·用户体验
两块一毛四7 小时前
分布式光伏模式怎么选?从 “凭经验” 到 “靠数据”,iSolarBP 帮你锁定最优解
分布式
长河_讲_ITIL47 小时前
预告:AI赋能IT服务管理实践 |2025 “数字化时代的IT服务管理“Meetup-深圳站(9月20日)
大数据·运维·人工智能·itil·itil认证·itil培训
青鱼入云7 小时前
【面试场景题】不使用redis、zk如何自己开发一个分布式锁
redis·分布式·面试
凉凉的知识库7 小时前
学习笔记:在PySpark中使用UDF
大数据·python·spark