Spark缓存-cache

一、RDD持久化

1.什么时候该使用持久化(缓存)

  1. RDD cache & persist 缓存

  2. RDD CheckPoint 检查点

  3. cache & persist & checkpoint 的特点和区别

特点

区别

二、cache & persist 的持久化级别及策略选择

Spark的几种持久化级别:

1.MEMORY_ONLY

2.MEMORY_AND_DISK

3.MEMORY_ONLY_SER

4.MEMORY_AND_DISK_SER

5.DISK_ONLY

6.MEMORY_ONLY_2, MEMORY_AND_DISK_2, 等等

策略选择


版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。

原文链接:https://blog.csdn.net/2401_83378805/article/details/147915471

相关推荐
Coder个人博客16 分钟前
Linux6.19-ARM64 mm mmap子模块深入分析
大数据·linux·安全·车载系统·系统架构·系统安全·鸿蒙系统
走遍西兰花.jpg32 分钟前
spark配置
大数据·分布式·spark
档案宝档案管理1 小时前
档案管理系统如何支持多级审批流?自定义节点与角色权限详解
大数据·人工智能·档案·档案管理
BYSJMG1 小时前
计算机毕业设计选题推荐:基于Hadoop的城市交通数据可视化系统
大数据·vue.js·hadoop·分布式·后端·信息可视化·课程设计
BYSJMG1 小时前
Python毕业设计选题推荐:基于大数据的美食数据分析与可视化系统实战
大数据·vue.js·后端·python·数据分析·课程设计·美食
阿珍爱上了阿强2.02 小时前
Elasticsearch 实战:客户数据索引设计与精准筛选查询实践
大数据·elasticsearch·搜索引擎
ba_pi2 小时前
每天写点什么2026-02-2(1.5)数字化转型和元宇宙
大数据·人工智能
小W与影刀RPA2 小时前
【影刀RPA】:智能过滤敏感词,高效输出表格
大数据·人工智能·python·低代码·自动化·rpa·影刀rpa
远方16092 小时前
112-Oracle database 26ai下载和安装环境准备
大数据·数据库·sql·oracle·database
2501_947908203 小时前
范建峰携手安盛投资 助力普惠金融惠及更多民生领域
大数据·人工智能·金融