Spark SQL,DF,RDD cache常用方式

RDD中的cache

调用cache方法

复制代码
val testRDD = sc.parallelize(Seq(elementA, elementB, elementC)).
    map(x => (x._1, x._2)).setName("testRDD")

testRDD.cache()

dataframe中的cache

利用catalog以表的形式对数据进行缓存

复制代码
import org.apache.spark.SparkConf
import org.apache.spark.sql.{SaveMode, SparkSession}
import org.apache.spark.sql.functions.udf



val conf = new SparkConf().setAppName(s"test_app")
val spark = SparkSession.builder().config(conf).getOrCreate()
spark.read.parquet(s"${BASEPATH}/dws_live_mid_stat_order_di/event_day=${event_day}").createOrReplaceTempView(s"dwd_flow_sessionid_di")

spark.catalog.cacheTable("dwd_flow_sessionid_di")
spark.catalog.uncacheTable("dwd_flow_sessionid_di")

SQL中的cache

复制代码
    spark.sql(
      s"""
         |cache table flow_basic_tmp as
         |select
         |    *
         |from
         |    test.tmp_live_mid_stat_order_di
         |""".stripMargin)

UNCACHE TABLE [ IF EXISTS ] table_identifier

SQL cache 相关文档,可以懒加载 CACHE TABLE - Spark 3.5.0 Documentation

需要注意的点 :

Spark.createDateFrame需要执行

基于DF 需要执行action,才能让RDD cache住

相关推荐
猿究院--王升1 小时前
jvm三色标记
java·jvm·算法
妮妮学代码1 小时前
c#:TCP服务端管理类
java·tcp/ip·c#
兔老大RabbitMQ2 小时前
git pull origin master失败
java·开发语言·git
探索java2 小时前
Netty Channel详解:从原理到实践
java·后端·netty
tuokuac3 小时前
maven与maven-archetype-plugin版本匹配问题
java·maven
麻辣清汤4 小时前
结合BI多维度异常分析(日期-> 商家/渠道->日期(商家/渠道))
数据库·python·sql·finebi
ankleless4 小时前
Spring Boot 实战:从项目搭建到部署优化
java·spring boot·后端
野生技术架构师4 小时前
2025年中高级后端开发Java岗八股文最新开源
java·开发语言
静若繁花_jingjing5 小时前
JVM常量池
java·开发语言·jvm
David爱编程5 小时前
为什么线程不是越多越好?一文讲透上下文切换成本
java·后端