Spark处理方法_提取文件名中的时间

需求描述

通过读取目录下的类似文件的datapath路径的文件名及文件内容,需要将读取的每一个文件的文件名日期解析出来,并作为读取当前文件内容递归读取当前文件一个df列,列名为"时间";后面就是读一个文件,解析一下时间,将时间添加到所读文件的dataframe中,相当于给每一个读的文件内容添加了当前读取文件解析出来的时间列,以此递归循环。读取每一个文件后都要加上一列此文件解析出来的时间,形式如下

复制代码
  Reading file: hdfs://master.test.com:8020/data/测试文件/_L_20231025095119.txt
  Reading file: hdfs://master.test.com:8020/data/测试文件/_L_20231026095119.txt
  Reading file: hdfs://master.test.com:8020/data/测试文件/_L_20231027095119.txt

内容形式如下

复制代码
  文件名:L_20231025095119.txt
  文件内容:id,imsi,lon,lat
  ......
  文件名:L_20231026095119.txt
  文件内容:id,imsi,lon,lat
  ......
  文件名:L_20231027095119.txt
  文件内容:id,imsi,lon,lat
  ......
  我要的文件内容输出形式为
  id,imsi,lon,lat,20231025095119
  ...
  id,imsi,lon,lat,20231026095119
  ...
  id,imsi,lon,lat,20231027095119
  ......

代码片段:

Scala 复制代码
...
...
//打印读取目录下的文件名
println("文件datapath路径")
if (dataPath.isEmpty) {
  println("No files to read.")
} else {
  for (path <- dataPath) {
    println(s"Reading file: $path")
  }
}
// 解析时间字段
// 提取文件名中的时间部分,格式为:"_L_20231111095119.txt" 中的 "20231111095119"
// 由于文件名是按目录读取的,因此要变成字符串形式并以逗号隔开
val filePath = dataPath.mkString(",")
val fileName = filePath.split("/").last.stripSuffix(".csv")
val timeStr = fileName.split("_").last
val year = timeStr.substring(0, 4)
val month = timeStr.substring(4, 6)
val day = timeStr.substring(6, 8)
val hour = timeStr.substring(8, 10)
val minute = timeStr.substring(10, 12)
val second = timeStr.substring(12, 14)
val time = s"$year-$month-$day $hour:$minute:$second"
println(time)
// 输出时间类似:2023-03-01 09:51:19
...
...
val rddAll = if(dataPath.isEmpty){
    sc.emptyRDD[(LongWritable,Text)]
} else {
    sc.newAPIHadoopRDD(jobConf,classOf[CombineTextInputFormat],classOf[LongWritable],classOf[Text])
    
}

val firstLine = {
    if(rddAll.take(1).length == 0){
        null
    } else {
        val firstLineTemp = rddAll.first()._2
        getAfterSplitArray(delimiter,new String(firstLineTemp.getBytes,0,firstLineTemp.getLength,encoding))
    }
}
...
...
val outDF = sqlc.createDataFrame(outRDD,schema)
//2修改
val outDF1 = outDF.withColumn("时间", lit(time))
outDF1.show()
相关推荐
GISer_Jing1 小时前
Git协作开发:feature分支、拉取最新并合并
大数据·git·elasticsearch
IT_10242 小时前
Spring Boot项目开发实战销售管理系统——系统设计!
大数据·spring boot·后端
一只鹿鹿鹿4 小时前
信息化项目验收,软件工程评审和检查表单
大数据·人工智能·后端·智慧城市·软件工程
June bug4 小时前
【软考中级·软件评测师】下午题·面向对象测试之架构考点全析:分层、分布式、微内核与事件驱动
经验分享·分布式·职场和发展·架构·学习方法·测试·软考
聚铭网络4 小时前
案例精选 | 某省级税务局AI大数据日志审计中台应用实践
大数据·人工智能·web安全
阿波罗.20125 小时前
Zookeeper 客户端 .net访问框架 ZookeeperNetEx项目开发编译
分布式·zookeeper
Bug退退退1235 小时前
RabbitMQ 工作模式
java·分布式·rabbitmq
weixin_438335406 小时前
分布式锁实现方式:基于Redis的分布式锁实现(Spring Boot + Redis)
数据库·redis·分布式
Qdgr_6 小时前
价值实证:数字化转型标杆案例深度解析
大数据·数据库·人工智能
选择不变6 小时前
日线周线MACD指标使用图文教程,通达信指标
大数据·区块链·通达信指标公式·炒股技巧·短线指标·炒股指标