Spark SQL 时间格式处理

初始化Spark Sql

Scala 复制代码
package pbcp_2023.clear_data

import org.apache.spark.SparkConf
import org.apache.spark.sql.SparkSession
import org.apache.spark.sql.functions.{current_date, current_timestamp}

object twe_2 {
  def main(args: Array[String]): Unit = {
//新建SparkConf
    val con = new SparkConf().setMaster("local[*]").setAppName("one")
  //设置权限
    System.setProperty("HADOOP_USER_NAME", "root")
//新建Spark Sql
    val sc = new SparkSession.Builder()
      .config(con)
      .enableHiveSupport()
      .getOrCreate()
   import sc.implicits._
    val list = List("date").toDF()


  }
  }

1.current_date和current_timestamp

current_date:取得当前日期

current_timestamp: 取得当期时间日期

Scala 复制代码
   import sc.implicits._
    val list = List("date").toDF()
//    current_date 当前日期
//    current_timestamp 当前时间日期
    list.withColumn("current_date(日期)",current_date())
    .withColumn("current_timestamp",current_timestamp())

2.获取各种时间格式

  1. current_timestamp(): 这个函数用于获取当前的日期和时间戳。
  2. year(col("local_date")): 这个函数会提取出"local_date"列中的年份。
  3. month(col("local_date")): 这个函数会提取出"local_date"列中的月份。
  4. quarter(col("local_date")): 这个函数会根据"local_date"列中的日期信息,将日期划分为哪个季度。
  5. weekofyear(col("local_date")): 这个函数会提取出"local_date"列中该年度的第几周。
  6. dayofmonth(col("local_date")): 这个函数会提取出"local_date"列中该月的第几天。
  7. dayofyear(col("local_date")): 这个函数会提取出"local_date"列中该年的第几天。
  8. hour(col("local_date")): 这个函数会提取出"local_date"列中的小时数。
  9. minute(col("local_date")): 这个函数会提取出"local_date"列中的分钟数。
  10. second(col("local_date")): 这个函数会提取出"local_date"列中的秒数。

3.时间格式之间的转换--from_unixtime 和 unix_timestamp

函数:

Scala 复制代码
list2.withColumn("new_date",from_unixtime(unix_timestamp("[要转换的列名]","[要转换的列的格式]"),"[要转换为的格式]").as("date") ).show()

1.from_unixtime 函数通常用于将Unix时间戳转换为日期和时间格式。它接受一个Unix时间戳作为输入,并返回一个表示特定日期和时间的字符串。

2.unix_timestamp函数通常用于将日期和时间转换为Unix时间戳。它接受一个日期和时间作为输入,并返回一个表示该日期和时间的Unix时间戳。

理解是先用unix_timestamp将指点格式转换为时间戳,再用from_unixtime将时间戳转换为你想要的时间格式!所以这两个一般是配合使用的

实例:

Scala 复制代码
    //加入题目要求将 yyyyMMdd 格式数据转换成 yyyy-MM-dd HH:mm:dd
    val list2 = List("20231125").toDF("date")  //初始化列
      list2.withColumn("new_date",from_unixtime(unix_timestamp(col("date"),"yyyyMMdd"),"yyyy-MM-dd HH:mm:ss").as("date") )
        .show()
相关推荐
科技小郑2 分钟前
吱吱企业通讯软件以安全为基,搭建高效的通讯办公平台
大数据·运维·网络·安全·吱吱企业通讯
weixin_177297220691 小时前
家政小程序系统开发:引领家政服务数字化转型
大数据·小程序
九皇叔叔4 小时前
【7】SQL 语句基础应用
数据库·sql·mysql
电商软件开发小辛6 小时前
我店生活平台是不是 “圈钱平台”?揭开消费补贴新模式的面纱
大数据
小云数据库服务专线6 小时前
GaussDB 数据库架构师修炼(十八) SQL执行引擎-概述
sql·数据库架构·gaussdb
青云交6 小时前
Java 大视界 -- 基于 Java 的大数据实时流处理在智能电网分布式电源接入与电力系统稳定性维护中的应用(404)
java·大数据·分布式·智能电网·flink 实时流处理·kafka 数据采集·iec 61850 协议
jayzhang_6 小时前
SPARK入门
大数据·开发语言
麦聪聊数据6 小时前
能源行业数据库远程运维安全合规实践:Web化平台的落地经验
运维·数据库·sql·安全·数据服务
上海控安6 小时前
上海控安:GB 44495-2024《汽车整车信息安全技术要求》标准解读和测试方案
大数据·人工智能·汽车
GeminiJM8 小时前
Elasticsearch数据迁移方案深度对比:三种方法的优劣分析
大数据·elasticsearch·jenkins