Spark缓存-cache

一、RDD持久化

1.什么时候该使用持久化(缓存)

  1. RDD cache & persist 缓存

  2. RDD CheckPoint 检查点

  3. cache & persist & checkpoint 的特点和区别

特点

区别

二、cache & persist 的持久化级别及策略选择

Spark的几种持久化级别:

1.MEMORY_ONLY

2.MEMORY_AND_DISK

3.MEMORY_ONLY_SER

4.MEMORY_AND_DISK_SER

5.DISK_ONLY

6.MEMORY_ONLY_2, MEMORY_AND_DISK_2, 等等

策略选择


版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。

原文链接:https://blog.csdn.net/2401_83378805/article/details/147915471

相关推荐
塔能物联运维14 分钟前
不止降温,更能控温|两相液冷重构高密度算力热管理新模式
大数据
Francek Chen22 分钟前
【大数据存储与管理】云数据库:03 云数据库系统架构
大数据·数据库·分布式·架构
pearbing25 分钟前
B站搜索流量突围:关键词精准布局,打造高适配SEO运营体系
大数据·b站·b站关键词排名·b站排名优化·b站seo·b站搜索优化
互联网科技看点27 分钟前
2026年,园世Yuansea:以专业之名,重塑运动音频边界
大数据·人工智能·音视频
金融小师妹36 分钟前
基于AI通胀风险识别模型与联储决策框架的政策分歧研究:鹰派权重上升后的全球流动性再定价分析
大数据·深度学习·逻辑回归·线性回归
Gofarlic_OMS44 分钟前
Mastercam浮动许可利用率低:软件许可浪费,回收再分配
java·大数据·开发语言·架构·制造
维双云1 小时前
搭建商城型小程序,具备预约挂号功能,供医院使用,该怎么做?
大数据
云栖梦泽在1 小时前
AI安全实战:AI供应链安全防护的实战案例
大数据·人工智能·安全
weelinking1 小时前
2026年三大主流大模型深度对比:GPT-5.5、Claude 4.6与DeepSeek V4谁更值得选择?
java·大数据·人工智能·git·python·gpt·github
想ai抽1 小时前
Kylin 全局字典机制与 StarRocks Bitmap 精确去重技术调研
大数据·starrocks·kylin