数据处理生产环境_spark获取df列当前日期的前一天日期

需求描述:

我现在有一个dataframe,名为dfin,样例数据如下

a1_id_lxh a2_PH time
比亚迪_汉 123 2023-11-15 12:12:23
比亚迪_汉 125 2023-11-15 13:14:51
比亚迪_汉 123 2023-11-15 12:13:23
比亚迪_汉 126 2023-11-16 14:12:34
比亚迪_秦 231 2023-11-15 14:12:28
比亚迪_秦 234 2023-11-16 16:12:51
比亚迪_秦 231 2023-11-15 12:13:51
比亚迪_秦 231 2023-11-15 12:14:51

现在我每天接入实时数据,保存在库里,时间为最近时间的两天数据,比如今天是20号,数据库里存的数据就是19号,20号的数据,现在我要进行跑批任务,将数据库里的19号的数据离线跑批进行部分逻辑处理后,增加的存入

代码

Scala 复制代码
import org.apache.spark.sql.SparkSession
import org.apache.spark.sql.functions._
import java.text.SimpleDateFormat
import java.util.Date

val spark = SparkSession.builder.appName("DateSubtraction").getOrCreate()

import spark.implicits._
//测试data,实际生产中我们接前序dataframe
//20231121_lxh
//https://blog.csdn.net/qq_52128187?type=blog
val data = Seq(
  ("比亚迪_汉", 123, "2023-11-15 12:12:23"),
  ("比亚迪_汉", 125, "2023-11-15 13:14:51"),
  ("比亚迪_汉", 123, "2023-11-15 12:13:23"),
  ("比亚迪_汉", 126, "2023-11-16 14:12:34"),
  ("比亚迪_秦", 231, "2023-11-15 14:12:28"),
  ("比亚迪_秦", 234, "2023-11-16 16:12:51"),
  ("比亚迪_秦", 231, "2023-11-15 12:13:51"),
  ("比亚迪_秦", 231, "2023-11-15 12:14:51")
)
//以此为例
val df = data.toDF("a1", "a2", "time")

val dateFormat = new SimpleDateFormat("yyyy-MM-dd")
val currentDate = dateFormat.format(new Date())

val dfinWithNewColumn = df.withColumn("date_subtracted", date_sub(to_date($"time"), 1))

dfinWithNewColumn.show()
//后面在处理的话直接转为创建临时表或者再进行后续操作即可
//https://blog.csdn.net/qq_52128187?type=blog

输出结果

a1 a2 time date_subtracted
比亚迪_汉 123 2023-11-15 12:12:23 2023-11-14 12:12:23
比亚迪_汉 125 2023-11-15 13:14:51 2023-11-14 13:14:51
比亚迪_汉 123 2023-11-15 12:13:23 2023-11-14 12:13:23
比亚迪_汉 126 2023-11-16 14:12:34 2023-11-15 14:12:34
比亚迪_秦 231 2023-11-15 14:12:28 2023-11-14 14:12:28
比亚迪_秦 234 2023-11-16 16:12:51 2023-11-15 16:12:51
比亚迪_秦 231 2023-11-15 12:13:51 2023-11-14 12:13:51
比亚迪_秦 231 2023-11-15 12:14:51 2023-11-14 12:14:5
相关推荐
MQ_SOFTWARE25 分钟前
文件权限标记机制在知识安全共享中的应用实践
大数据·网络
还是奇怪1 小时前
深入解析三大Web安全威胁:文件上传漏洞、SQL注入漏洞与WebShell
sql·安全·web安全
花下的晚风2 小时前
模拟flink处理无限数据流
大数据·flink
小悟空2 小时前
[AI 生成] Flink 面试题
大数据·面试·flink
livemetee2 小时前
Flink2.0学习笔记:Stream API 常用转换算子
大数据·学习·flink
AutoMQ3 小时前
技术干货|为什么越来越多企业放弃 Flink/Spark,用 AutoMQ 替代传统 ETL?
大数据
技术卷4 小时前
详解力扣高频SQL50题之1164. 指定日期的产品价格【中等】
sql·leetcode·oracle
zxsz_com_cn5 小时前
智能化设备健康管理:中讯烛龙预测性维护系统引领行业变革
大数据·架构
Pigwantofly5 小时前
SpringAI入门及浅实践,实战 Spring‎ AI 调用大模型、提示词工程、对话记忆、Adv‎isor 的使用
java·大数据·人工智能·spring
拓端研究室5 小时前
专题:2025电商增长新势力洞察报告:区域裂变、平台垄断与银发平权|附260+报告PDF、原数据表汇总下载
大数据·人工智能