spark-cache模式

一、RDD持久化

1.什么时候该使用持久化(缓存)

  1. RDD cache & persist 缓存

  2. RDD CheckPoint 检查点

  3. cache & persist & checkpoint 的特点和区别

特点

区别

二、cache & persist 的持久化级别及策略选择

Spark的几种持久化级别:

1.MEMORY_ONLY

2.MEMORY_AND_DISK

3.MEMORY_ONLY_SER

4.MEMORY_AND_DISK_SER

5.DISK_ONLY

6.MEMORY_ONLY_2, MEMORY_AND_DISK_2, 等等

相关推荐
十点就想睡11 分钟前
redission分布式锁的介绍及使用
分布式
ApacheSeaTunnel20 分钟前
从 Apache SeaTunnel 走向 ASF Member:一位开发者的长期主义样本
大数据·开源·数据集成·seatunnel·数据同步
Lalolander34 分钟前
工厂工艺管理进阶:SMT生产阶别如何实现精细化管控?
大数据·制造·mes·制造执行系统·工厂管理系统·工厂生产进度管理·工厂工单管理
黎阳之光2 小时前
黎阳之光:数智技术赋能水利“平急两用” 筑牢水利工程安全防线
大数据·人工智能·算法·安全·数字孪生
ん贤2 小时前
AI大模型落地系列:一文读懂 Eino 的 Memory 与 Session(持久化对话)
大数据·ai·golang·eino
做科研的周师兄2 小时前
巴音河中下游灌溉草地空间分布数据集(2020年)
大数据·人工智能·算法·机器学习·数据挖掘·聚类
yhdata2 小时前
电脑提花机市场规模定格14.33亿元,数据锚定行业进阶新坐标
大数据·人工智能·电脑
`Jay2 小时前
Python Redis连接池&账号管理池
redis·分布式·爬虫·python·学习
SelectDB3 小时前
doris404发版
大数据·数据库·数据分析
SelectDB3 小时前
SelectDB search 函数
大数据·数据库·数据分析