Spark缓存-cache

一、RDD持久化

1.什么时候该使用持久化(缓存)

  1. RDD cache & persist 缓存

  2. RDD CheckPoint 检查点

  3. cache & persist & checkpoint 的特点和区别

特点

区别

二、cache & persist 的持久化级别及策略选择

Spark的几种持久化级别:

1.MEMORY_ONLY

2.MEMORY_AND_DISK

3.MEMORY_ONLY_SER

4.MEMORY_AND_DISK_SER

5.DISK_ONLY

6.MEMORY_ONLY_2, MEMORY_AND_DISK_2, 等等

策略选择


版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。

原文链接:https://blog.csdn.net/2401_83378805/article/details/147915471

相关推荐
优秘智能UMI3 分钟前
UMI企业智脑智能营销:多平台视频矩阵引领营销新潮流
大数据·运维·人工智能·ai·矩阵·aigc
李昊哲小课30 分钟前
Spring Boot 基础教程
java·大数据·spring boot·后端
百胜软件@百胜软件2 小时前
新零售模式下仓储变化与发展趋势
大数据·零售
lisw053 小时前
编程语言top5对比分析!
大数据·人工智能·程序人生·机器学习·软件工程
打码人的日常分享3 小时前
信息化系统安全建设方案
大数据·数据库·人工智能·安全·系统安全
幂简集成3 小时前
需求从0到1:AI提示词助力客户画像→功能脑暴→PRD→价值主张
大数据·人工智能
lifallen4 小时前
Flink TCP Channel复用:NettyServer、NettyProtocol详解
大数据·flink·nio
Hello.Reader4 小时前
用 Flink 打造事件驱动流式应用从 DataStream 到 ProcessFunction
大数据·flink
jqy20254 小时前
什么是合同管理系统?6个核心功能介绍
大数据·合同 管理系统·电子合同管理
韩立学长4 小时前
【开题答辩实录分享】以《基于大数据的私人牙科诊所病例管理系统》为例进行答辩实录分享
大数据·管理系统