Spark与SQL之间NB的转换_withClumn,split及SubString

业务描述

业务中有这样一个场景,我想实现的是将dataframe表table1中的字段b1与c1的内容使用下划线_连接起来列的名字为d1,比如比如学习_1,睡觉_2,吃饭_3,这是我的第一个需求;随后我想保留的是dataframe表table1中的字段d1中的数据比如学习_1,睡觉_2,吃饭_3,中的数据中_前后的数据分别作为两列e1,f1。

该怎么写这个spark代码,我的想法是使用withclumn函数及split函数.sql来写的话就是使用subString函数来进行_匹配。

为什么要这么做,因为单独的b1列是一个目标的id,而b2是作为每天不同时间段传过来数据的批号,一批一批的实时数据过来,一个目标一天内对应许多个批次数据,批次的名称是单独不重复的。为了后面做类别,先把目标,批次联合在一起,做一个联合 '目标_批次',然后再把目标,批次拆开供后面的聚合使用。

比如说

sql代码

sql 复制代码
SELECT SUBSTRING_INDEX(a1, '_', 1) AS a2
FROM table1;

Spark代码

创建一个DataFrame,名为table1,将b1c1字段的内容使用下划线连接起来,并将新的列命名为d1

Scala 复制代码
import org.apache.spark.sql.functions._  
  
val table1 = Seq(  
  ("学习", "1"),  
  ("睡觉", "2"),  
  ("吃饭", "3")  
).toDF("b1", "c1")  
  
val table1_d1 = table1.withColumn("d1", concat($"b1", "_", $"c1"))

使用split函数将d1字段中的数据拆分为两列e1f1

Scala 复制代码
val table1_d1_split = table1_d1.withColumn("e1", split(col("d1"), "_")(0))  
                               .withColumn("f1", split(col("d1"), "_")(1))

table1_d1_split.show()

table1_d1_split DataFrame将包含新的列e1f1,分别包含下划线前后的数据

Scala 复制代码
+------+------+------+------+------+  
|   b1 |   c1 |   d1 |   e1 |   f1 |  
+------+------+------+------+------+  
| 学习 |   1  | 学习_1 | 学习 |   1  |  
| 睡觉 |   2  | 睡觉_2 | 睡觉 |   2  |  
| 吃饭 |   3  | 吃饭_3 | 吃饭 |   3  | 

sql的就是不断地截取

整体的处理这块逻辑代码:

Scala 复制代码
import org.apache.spark.sql.functions._  
  
val table1 = Seq(  
  ("学习", "1"),  
  ("睡觉", "2"),  
  ("吃饭", "3")  
).toDF("b1", "c1")  
  
val table1_d1 = table1.withColumn("d1", concat($"b1", "_", $"c1"))
val table1_d1_split = table1_d1.withColumn("e1", split(col("d1"), "_")(0))  
                               .withColumn("f1", split(col("d1"), "_")(1))

table1_d1_split.show()
相关推荐
武子康20 分钟前
大数据-96 SparkSQL 语句详解:从 DataFrame 到 SQL 查询与 Hive 集成全解析
大数据·后端·spark
小朋友,你是否有很多问号?1 小时前
Spark10- RDD转DataFrame的三种方式
大数据·javascript·spark
麦麦大数据3 小时前
J002 Vue+SpringBoot电影推荐可视化系统|双协同过滤推荐算法评论情感分析spark数据分析|配套文档1.34万字
vue.js·spring boot·数据分析·spark·可视化·推荐算法
在路上`8 小时前
前端学习之后端java小白(四)之数据库设计
sql·学习
青鱼入云9 小时前
【面试场景题】电商订单系统分库分表方案设计
大数据·面试·职场和发展
在未来等你10 小时前
Kafka面试精讲 Day 12:副本同步与数据一致性
大数据·分布式·面试·kafka·消息队列
云边云科技10 小时前
门店网络重构:告别“打补丁”,用“云网融合”重塑数字竞争力!
大数据·人工智能·安全·智能路由器·零售
渣渣盟12 小时前
Spark核心:单跳转换率计算全解析
大数据·spark·scala·apache
edisao12 小时前
[特殊字符] 从助手到引擎:基于 GPT 的战略协作系统演示
大数据·人工智能·gpt
IT毕设梦工厂12 小时前
大数据毕业设计选题推荐-基于大数据的国家医用消耗选品采集数据可视化分析系统-Hadoop-Spark-数据可视化-BigData
大数据·hadoop·信息可视化·spark·毕业设计·数据可视化·bigdata