Spark缓存-cache

一、RDD持久化

1.什么时候该使用持久化(缓存)

  1. RDD cache & persist 缓存

  2. RDD CheckPoint 检查点

  3. cache & persist & checkpoint 的特点和区别

特点

区别

二、cache & persist 的持久化级别及策略选择

Spark的几种持久化级别:

1.MEMORY_ONLY

2.MEMORY_AND_DISK

3.MEMORY_ONLY_SER

4.MEMORY_AND_DISK_SER

5.DISK_ONLY

6.MEMORY_ONLY_2, MEMORY_AND_DISK_2, 等等

策略选择


版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。

原文链接:https://blog.csdn.net/2401_83378805/article/details/147915471

相关推荐
唐天下文化25 分钟前
居然智家亮相全零售AI火花大会 AI大模型赋能家居新零售的进阶之路
大数据·人工智能·零售
gaosushexiangji41 分钟前
应用探析|千眼狼PIV测量系统在职业病防治中的应用
大数据·人工智能·科技·数码相机
1892280486144 分钟前
NY182NY183美光固态颗粒NY186NY188
大数据·网络·科技
爱吃香菜---www2 小时前
spark-standalone
大数据·分布式·spark
依年南台3 小时前
安装Hadoop并运行WordCount程序
大数据·hadoop
TDengine (老段)3 小时前
基于 TSBS 标准数据集下 TimescaleDB、InfluxDB 与 TDengine 性能对比测试报告
java·大数据·开发语言·数据库·时序数据库·tdengine·iotdb
TDengine (老段)3 小时前
TDengine 在金融领域的应用
大数据·数据库·物联网·金融·时序数据库·tdengine·涛思数据
懒惰的橘猫4 小时前
RDD-自定义分区器案例
大数据
rylshe13144 小时前
spark sql基本操作
sql·spark