Spark sql 常用时间函数 to_date ,datediff

1. to_date

`to_date` 是 Apache Spark 中的一个函数,用于将字符串或其他日期/时间格式转换为日期格式。这个函数通常在处理日期字符串时非常有用,尤其是当你需要将它们转换为标准的日期格式以进行进一步的操作或分析时。

例如,假设你有一个包含日期字符串的 DataFrame,并且这些字符串的格式为 "yyyy-MM-dd",你可以使用 `to_date` 函数将这些字符串转换为日期格式:

Scala 复制代码
import org.apache.spark.sql.functions._

val df = Seq("2022-01-01", "2022-01-02").toDF("date_string")
val dfWithDate = df.withColumn("date", to_date(col("date_string"), "yyyy-MM-dd"))
dfWithDate.show()

输出:

+-----------+--------------+

|date_string| date |

+-----------+--------------+

| 2022-01-01|2022-01-01|

| 2022-01-02|2022-01-02|

+-----------+------------------+


2.datediff

`datediff` 函数是 Spark SQL 中的一个日期函数,用于计算两个日期之间的天数差异。它接受两个日期作为输入,并返回两个日期之间的天数差。

函数原型如下:

Scala 复制代码
datediff(enddate: Column, startdate: Column): Column

其中,`enddate` 和 `startdate` 是两个日期列或者日期值。

下面是一个示例:

Scala 复制代码
import org.apache.spark.sql.functions.datediff
import org.apache.spark.sql.SparkSession

val spark = SparkSession.builder()
                        .appName("datediff example")
                        .getOrCreate()

import spark.implicits._

val df = Seq(("2021-01-01", "2021-01-10"), ("2021-02-01", "2021-02-10")).toDF("startdate", "enddate")

df.withColumn("diff", datediff($"enddate", $"startdate"))
  .show()

输出结果为:

+----------+----------+----+

| startdate| enddate|diff|

+----------+----------+----+

|2021-01-01|2021-01-10| 9|

|2021-02-01|2021-02-10| 9|

+----------+----------+----+

可以看到,`datediff` 函数计算了 `startdate` 到 `enddate` 之间的天数差异,并将结果添加到了新的一列 `diff` 中。


相关推荐
Decay__5 小时前
SQLServer 优化案例集 —— 慢 SQL 优化、索引重构与参数调整收益对比
运维·数据库·sql·mysql·架构
大大大大晴天5 小时前
每天认识一个组件:VictoriaMetrics
大数据
龙腾AI白云6 小时前
具身智能的空间导航与未知环境探索
大数据·数据库·人工智能·机器学习·知识图谱
演艺大赏7 小时前
三个坑连环套:一次 NameNode 起不来,从 JournalNode 未格式化查到配置里多了个挂载点
大数据·hadoop
Aloudata8 小时前
服饰零售数据治理如何统一款色码与库存口径,支撑门店售罄率和补货分析?
大数据·数据分析·零售
躺柒8 小时前
读数据分析思维通识课07数据思维图
大数据·数据挖掘·数据分析·大数据分析·数据思维图
回眸&啤酒鸭10 小时前
【回眸】Hy4 模型效果展示与能力评测大纲
大数据·人工智能·机器学习
伞伞悦读11 小时前
【第86期】分类指标与错误成本对照的实验与排查
大数据·人工智能·机器学习
金融小师妹15 小时前
多因子关联模型:黄金与铜价同步回落背后的金融变量及PPI传导分析
大数据·人工智能·金融
TDengine (老段)1 天前
TDengine IDMP 功能点—数据接入
大数据·数据库·物联网·时序数据库·tdengine·涛思数据