spark-cache模式

一、RDD持久化

1.什么时候该使用持久化(缓存)

  1. RDD cache & persist 缓存

  2. RDD CheckPoint 检查点

  3. cache & persist & checkpoint 的特点和区别

特点

区别

二、cache & persist 的持久化级别及策略选择

Spark的几种持久化级别:

1.MEMORY_ONLY

2.MEMORY_AND_DISK

3.MEMORY_ONLY_SER

4.MEMORY_AND_DISK_SER

5.DISK_ONLY

6.MEMORY_ONLY_2, MEMORY_AND_DISK_2, 等等

相关推荐
汽车仪器仪表相关领域20 小时前
工业商业安全 “哨兵”:GT-NHVR-20-A1 点型可燃气体探测器实操解析与场景适配
大数据·人工智能·功能测试·安全·安全性测试
ctrigger20 小时前
电子信息三胞胎:电子信息工程、电子科学技术、电子信息科学技术
大数据·注册电气工程师
得物技术21 小时前
告别数据无序:得物数据研发与管理平台的破局之路
大数据·数据库·数据分析
武子康21 小时前
大数据-137 ClickHouse MergeTree 实战指南|分区、稀疏索引与合并机制 存储结构 一级索引 跳数索引
大数据·后端·nosql
沐浴露z1 天前
一篇文章详解Kafka Broker
java·分布式·kafka
TDengine (老段)1 天前
TDengine 数学函数 SIGN 用户手册
大数据·数据库·sql·时序数据库·iot·tdengine·涛思数据
Elastic 中国社区官方博客1 天前
在 Elastic Observability 中,启用 TSDS 集成可节省高达 70% 的指标存储
大数据·运维·数据库·elasticsearch·搜索引擎·全文检索·时序数据库
链上日记1 天前
AIOT进军纳斯达克,推动Web3健康金融迈向全球资本市场
大数据·金融·web3
quintin20251 天前
2025全面评测:企业培训课件制作软件哪个好一点呢
大数据·人工智能
pythonpioneer1 天前
Ray Tune 强大的分布式超参数调优框架
分布式·其他