Spark缓存---cache方法

在Spark 中,cache() 是用于优化计算性能的核心方法之一,但它有许多细节需要深入理解。以下是关于 cache() 的详细技术解析:

  1. cache() 的本质

简化的 persist():cache() 是 persist(StorageLevel.MEMORY_ONLY) 的快捷方式,将数据以反序列化对象的形式存储在内存中。

惰性操作:调用 cache() 后,数据不会立即缓存,只有在首次触发行动操作(如 count(), show(), collect())时才会执行缓存。

存储级别:默认使用 MEMORY_ONLY,若内存不足,未缓存的分区会在后续需要时重新计算。

  1. 底层工作原理

缓存过程

血缘(Lineage)记录:Spark 记录 RDD/DataFrame 的血缘关系(即生成该数据的操作步骤)。

首次计算:当首次触发行动操作时,Spark 根据血缘执行计算,并将结果按分区缓存在内存中。

后续复用:后续操作直接读取缓存数据,跳过血缘中的计算步骤。

缓存失效

手动释放:调用 unpersist() 立即释放缓存。

自动清理:Spark 根据 LRU(最近最少使用)策略自动清理缓存,当内存不足时,最早未使用的缓存分区会被移除。

  1. 存储级别的关键细节

cache() 对应的 MEMORY_ONLY 存储级别特性:

特性 说明

序列化 数据以反序列化 Java 对象形式存储,读写速度快,但内存占用高。

内存溢出处理 内存不足时,直接丢弃未缓存的分区,后续需要时重新计算(不会写入磁盘)。

容错性 缓存数据丢失时(如节点故障),Spark 根据血缘重新计算。

  1. 何时使用 cache()?

适用场景

重复使用:同一数据集被多次用于不同操作(如多阶段机器学习流水线)。

迭代计算:如 PageRank、梯度下降等需要多次遍历数据的算法。

交互式分析:在 Spark Shell 中多次查询同一数据集。

不适用场景

单次使用:数据仅用一次时,缓存反而浪费资源。

内存不足:数据远大于可用内存时,MEMORY_ONLY 会导致频繁重计算,应改用 MEMORY_AND_DISK。

代码示例

// 使用 cache 的情况

val cachedRDD = largeRDD.map(complexTransformation).cache()

// 第一次触发行动算子,计算并统计时间

val startTime3 = System.currentTimeMillis()

val result3 = cachedRDD.collect()

val endTime3 = System.currentTimeMillis()

println(s"使用 cache 第一次计算耗时: ${endTime3 - startTime3} 毫秒")

// 第二次触发行动算子,计算并统计时间

val startTime4 = System.currentTimeMillis()

val result4 = cachedRDD.collect()

val endTime4 = System.currentTimeMillis()

println(s"使用 cache 第二次计算耗时: ${endTime4 - startTime4} 毫秒")

println(s"spark.local.dir 的值: ${conf.get("spark.local.dir")}")

sc.stop()

相关推荐
一人の梅雨1 小时前
亚马逊 MWS 关键字 API 实战:关键字搜索商品列表接口深度解析与优化方案
python·spring
期待のcode2 小时前
MyBatis框架—延迟加载与多级缓存
java·数据库·后端·缓存·mybatis
华仔啊2 小时前
Spring 配置混乱?搞懂这两个核心组件,问题真能少一半
java·后端·spring
喂完待续2 小时前
【序列晋升】45 Spring Data Elasticsearch 实战:3 个核心方案破解索引管理与复杂查询痛点,告别低效开发
java·后端·spring·big data·spring data·序列晋升
这是谁的博客?3 小时前
LangChain第三页【操作指南】_【如何缓存对话模型响应】翻译完成
缓存·langchain
_不会dp不改名_3 小时前
leetcode_146 LRU缓存
算法·leetcode·缓存
执键行天涯3 小时前
idea中已经被git缓存追踪的文件,如何让git重新忽略
git·缓存·intellij-idea
aloha_7893 小时前
新国都面试真题
jvm·spring boot·spring·面试·职场和发展
zzywxc7873 小时前
AI 行业应用:AI 在金融、医疗、教育、制造业等领域的落地案例
人工智能·spring·金融·prompt·语音识别·xcode
麦兜*4 小时前
Redis 7.0 新特性深度解读:迈向生产级的新纪元
java·数据库·spring boot·redis·spring·spring cloud·缓存