spark-cache模式

一、RDD持久化

1.什么时候该使用持久化(缓存)

  1. RDD cache & persist 缓存

  2. RDD CheckPoint 检查点

  3. cache & persist & checkpoint 的特点和区别

特点

区别

二、cache & persist 的持久化级别及策略选择

Spark的几种持久化级别:

1.MEMORY_ONLY

2.MEMORY_AND_DISK

3.MEMORY_ONLY_SER

4.MEMORY_AND_DISK_SER

5.DISK_ONLY

6.MEMORY_ONLY_2, MEMORY_AND_DISK_2, 等等

相关推荐
心仪悦悦38 分钟前
Spark缓存
大数据·缓存·spark
我叫珂蛋儿吖40 分钟前
[redis进阶六]详解redis作为缓存&&分布式锁
运维·c语言·数据库·c++·redis·分布式·缓存
lix的小鱼1 小时前
安装Hadoop并运行WordCount程序
大数据·linux·hadoop
七七-d1 小时前
测试集群的功能-执行wordcount程序
大数据
Freedom℡1 小时前
spark Mysql数据库配置
spark
INFINI Labs1 小时前
INFINI Console 纳管 Elasticsearch 9(一):指标监控、数据管理、DSL 语句执行
大数据·elasticsearch·搜索引擎·console
椰椰椰耶2 小时前
【RabbitMQ】工作队列和发布/订阅模式的具体实现
分布式·rabbitmq·ruby
姬激薄3 小时前
什么是SparkONYarn模式
spark
猪猪果泡酒3 小时前
Spark,RDD中的行动算子
大数据·分布式·spark
2401_871290583 小时前
Spark处理过程-转换算子
大数据·分布式·spark