object Cache {
// spark的缓存
// 1. cache()
// 2. persist()
// cache()是persist()的一种特殊情况,默认只使用内存
def main(args: Array[String]): Unit = {
//创建spark
val conf = new SparkConf().setAppName("Cache").setMaster("local[*]")
val sc = new SparkContext(conf)
sc.setLogLevel("WARN")
// 创建一个包含大量随机数的RDD
val rdd = sc.parallelize(1 to 10000000).map(_ => scala.util.Random.nextInt(100))
//定义一个复杂的转换函数
def complexTransformation(x: Int): Int = {
var result = x
for (i <- 1 to 1000) {
result = result * 2 % 100
}
result
}
// val rdd1 = rdd.map(complexTransformation)
// 缓存rdd
//val rdd1 = rdd.map(complexTransformation).cache()
// persist
val rdd1 = rdd.map(complexTransformation).persist(StorageLevel.DISK_ONLY)
// 第一次触发行动算子,计算并统计消耗的时间
val startTime = System.currentTimeMillis()
val rs1 = rdd1.count()
val endTime = System.currentTimeMillis()
println(s"第一次计算结果:$rs1,耗时:${endTime - startTime}毫秒")
// 第一次触发行动算子,计算并统计消耗的时间
val startTime1 = System.currentTimeMillis()
val rs2 = rdd1.count()
val endTime1 = System.currentTimeMillis()
println(s"第二次计算结果:$rs2,耗时:${endTime1 - startTime1}毫秒")
}
}
spark的缓存
只因只因爆2025-05-15 19:40
相关推荐
大大大大晴天3 小时前
浅聊维度建模中的星型模型与雪花模型Flynn Liang7 小时前
大模型成本优化:基于 Redis 的可验证语义缓存架构数字新视界7 小时前
能耗管理系统提升企业能源效率的实践与展望大大大大晴天8 小时前
别让金额越算越多:事实表与维度表设计避坑指南FungLeo8 小时前
FengCMS · PHP+MySQL升级实录 ·并发一致性连环坑:模板缓存、排队保存、备份恢复的竞态SA-D9 小时前
Redis 架构要点:性能、持久化、缓存故障与分布式锁的边界如夏倾城9 小时前
入侵检测系统(IDS)原理、部署模式与 IPS/防火墙对比wuyk55510 小时前
Spider-第20讲-综合实战可上线爬虫培培说证10 小时前
大数据与会计专业性价比高的证书有哪些?伞伞悦读12 小时前
【第90期】KNN分类回归流水线与K值对照的实验与排查