Spark缓存-cache

一、RDD持久化

1.什么时候该使用持久化(缓存)

  1. RDD cache & persist 缓存

  2. RDD CheckPoint 检查点

  3. cache & persist & checkpoint 的特点和区别

特点

区别

二、cache & persist 的持久化级别及策略选择

Spark的几种持久化级别:

1.MEMORY_ONLY

2.MEMORY_AND_DISK

3.MEMORY_ONLY_SER

4.MEMORY_AND_DISK_SER

5.DISK_ONLY

6.MEMORY_ONLY_2, MEMORY_AND_DISK_2, 等等

策略选择


版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。

原文链接:https://blog.csdn.net/2401_83378805/article/details/147915471

相关推荐
InfiniSynapse1 天前
打工人ai效率工具:一键修改excel
大数据·人工智能·数据分析·excel·ai编程
m0_564914921 天前
AI科技应用课
大数据·人工智能·机器学习
oort1231 天前
奥尔特云智慧园林融合物联网、大数据、地理信息系统与人工智能技术,构建数字化管理平台,推动园林养护从传统经验模式升级为智能化决策模式,为创建达标园林提供科技支撑
大数据·用户运营
大强同学1 天前
我push博客时泄露了API
大数据·elasticsearch·搜索引擎
中电金信1 天前
中电金信:赋能精准决策,两大场景解锁金融营销新范式
大数据·人工智能
只说证事1 天前
2026产品岗,怎么转型产品数据分析/商业分析岗?能优化产品决策效率吗?
大数据·人工智能·数据分析
卖酸奶的不错1 天前
FlowPrompt Studio v3.1
大数据·人工智能
智象科技1 天前
AI重构IT运维:从被动救火到智能自治,这场革命已不可逆!
大数据·运维·人工智能·ai·重构·一体化运维
亿电连接器替代品网1 天前
Bulgin连接器在自动化与能源系统中的应用及国产替代策略
大数据·网络·人工智能·经验分享·物联网·硬件工程·材料工程