spark的容错机制

RDD需要多次使用------------spark的容错机制就是RDD数据的存储(持久化)

1、persist持久化机制

1)cache算子

复制代码
"""
将RDD缓存在内存中
cache()
底层调用的还是persist(StorageLevel.MEMORY_ONLY)------如果内存不够,缓存会失败
场景:资源充足,需要将RDD仅缓存在内存中

是一个转换算子
"""

2)persist算子

复制代码
"""
将**RDD**【包含这个RDD的依赖关系】进行缓存,可以**自己指定缓存的级别**【和cache区别】
语法:persist(StorageLevel)
StorageLevel决定了缓存位置和缓存几份

是一个转换算子
"""
# StorageLevel 的级别
# 将RDD缓存在磁盘中
StorageLevel.DISK_ONLY = StorageLevel(True, False, False, False)
StorageLevel.DISK_ONLY_2 = StorageLevel(True, False, False, False, 2)
StorageLevel.DISK_ONLY_3 = StorageLevel(True, False, False, False, 3)

# 将RDD缓存在内存中
StorageLevel.MEMORY_ONLY = StorageLevel(False, True, False, False)
StorageLevel.MEMORY_ONLY_2 = StorageLevel(False, True, False, False, 2)

# 将RDD优先缓存在内存中,如果内存不足,就缓存在磁盘中
StorageLevel.MEMORY_AND_DISK = StorageLevel(True, True, False, False)
StorageLevel.MEMORY_AND_DISK_2 = StorageLevel(True, True, False, False, 2)

# 使用堆外内存
StorageLevel.OFF_HEAP = StorageLevel(True, True, True, False, 1)

# 使用序列化
StorageLevel.MEMORY_AND_DISK_DESER = StorageLevel(True, True, False, True)


"""
常用的
"""
MEMORY_AND_DISK_2
MEMORY_AND_DISK_DESER

3)unpersist 算子 --释放缓存

复制代码
"""
将缓存的RDD进行释放
语法:unpersist
    ------unpersist(blocking=True):等释放完再继续下一步
    
如果不释放,这个Spark程序结束,也会释放这个程序中的所有内存
"""

4)示例

复制代码
sc = SparkContext(conf=conf)
fileRdd = sc.textFile("../resources/1.dat")
cacheRdd = fileRdd.persist(StorageLevel.MEMORY_AND_DISK_2)
print(type(cacheRdd))

cacheRdd.foreach(lambda x: print(x))
time.sleep(20)

cacheRdd.unpersist(blocking=True)

time.sleep(10)

# 使用完后,记得关闭
sc.stop()

将任务运行,运行过程中,发现内存中存储了50M的缓存数据

2、checkpoint检查点机制

为了避免重复构建RDD,可以将RDD进行persist缓存,但是如果缓存丢失,还是会重新构建RDD,怎么解决?------------checkpoint

  • 常用于机器学习和图处理等复杂计算任务中,它帮助减少长链依赖,增加任务的容错能力。

    复制代码
      # 设置一个检查点目录
      sc.setCheckpointDir("../datas/chk/chk1")
      # 将RDD的数据持久化存储在HDFS
      rs_rdd.checkpoint()
      rs_rdd.foreach(print)

    一定要在触发算子之前,调用checkpoint() 否则,检查点中没有数据

面试问题

RDD的cache、persist持久化机制和checkpoint检查点机制有什么区别?

复制代码
cache本质上就是persist(StorageLevel.MEMORY_ONLY) 所以只需要介绍persist和checkpoint的区别即可
1、存储位置:persist存放在内存和本地磁盘,checkpoint放在hdfs等可靠的存储
2、生命周期:persist可以手动释放或者该job执行完自动释放,checkpoint程序执行完仍然存在,不会删除
3、依赖关系:persist不会丢掉RDD之间的依赖链关系,checkpoint会丢掉
相关推荐
sealaugh3227 分钟前
aws(学习笔记第四十八课) appsync-graphql-dynamodb
笔记·学习·aws
黄雪超44 分钟前
JVM——函数式语法糖:如何使用Function、Stream来编写函数式程序?
java·开发语言·jvm
ThetaarSofVenice1 小时前
对象的finalization机制Test
java·开发语言·jvm
水木兰亭1 小时前
数据结构之——树及树的存储
数据结构·c++·学习·算法
思则变1 小时前
[Pytest] [Part 2]增加 log功能
开发语言·python·pytest
鱼摆摆拜拜1 小时前
第 3 章:神经网络如何学习
人工智能·神经网络·学习
一只鹿鹿鹿1 小时前
信息化项目验收,软件工程评审和检查表单
大数据·人工智能·后端·智慧城市·软件工程
lijingguang1 小时前
在C#中根据URL下载文件并保存到本地,可以使用以下方法(推荐使用现代异步方式)
开发语言·c#
aha-凯心1 小时前
vben 之 axios 封装
前端·javascript·学习
漫谈网络2 小时前
WebSocket 在前后端的完整使用流程
javascript·python·websocket