Spark处理过程-案例数据清洗

++++什么是数据清洗?++++

数据清洗是指在数据分析或处理之前,对原始数据进行预处理,以消除错误、不一致、重复或缺失的数据,从而提高数据的质量和可用性。数据清洗是数据科学和数据分析中至关重要的一步,因为低质量的数据会导致错误的结论和决策。

假设你有一个包含用户信息的文本文件,每行格式为 姓名,年龄,性别,需要清洗掉年龄为空或者非数字的行

以下是 10 条符合上述示例中数据格式(姓名,年龄,性别)的测试数据,包含了一些可能需要清洗掉的无效数据,你可以将其保存为一个文本文件,用于测试上面的数据清洗程序。

【++++教师展示要清洗的数据,请同学们观察,并回答应该要清洗掉哪些数据?++++ 】

张三,25,男

李四,,女

王五,30,男

赵六,a,女

孙七,35,男

周八,40,女

吴九,abc,男

郑十,45,女

王十,50,男

李二,55,女

这里面:"李四" 的年龄为空,"赵六" 和 "吴九" 的年龄不是有效的数字,在执行数据清洗程序时,这些行应该会被过滤掉。


实现这个问题的思路是什么?

  1. 读入文件
  2. 对每一行数据进行分析
    1. 字段拆分,拆分出年龄这个字段
    2. 判断
      • 如果它不是数字或者缺失,则忽略这条数据
  • 否则保存
  1. 如何读入txt文件?
  2. 如何拆分出一行中的年龄?
  3. 如何使用过滤算子(filter)?
  4. 如何判断是否是整数?

  1. 读入txt文件。 val lines = sc.textFile(inputFile)
  2. 对拆分出一行中的年龄。val fields = line.split(",") fields(0)
  3. 过滤算子中,函数返回为false,就会被过滤掉,函数返回为true,就会被保留下来。
  4. 使用正则表达式。/\d/

java 复制代码
// 1.读入文件
// 2.开始过滤,对每一行数据进行分析
// (1)字段拆分,拆分出年龄这个字段
// (2)判断
//    ①如果它不是数字或者缺失,则忽略这条数据
// ②否则保存
  // 3.保存过滤之后的文件
import org.apache.spark.{SparkConf, SparkContext}
object DataCleaning {
  def main(args: Array[String]): Unit = {
    // 创建 SparkConf 对象
    val conf = new SparkConf().setAppName("DataCleaning").setMaster("local[*]")
    // 创建 SparkContext 对象
    val sc = new SparkContext(conf)
 
    // 读取文本文件,创建 RDD
    val inputFile = "input/file.txt"
    val lines = sc.textFile(inputFile)
 
    // 数据清洗操作
    val cleanedLines = lines.filter(line => { // 使用filter算子
      val fields = line.split(",")
      if (fields.length == 3) {
        val age = fields(1).trim
        age.matches("\\d+")
      } else {
        false
      }
    })
      // 输出清洗后的数据
       cleanedLines.collect().foreach(println)
 
    // 停止 SparkContext
    sc.stop()
  }
} 

这里介绍一个拓展点:如何把清洗之后的数据保存到一个文件中。

可以使用coalesce(1)这个方法可以让结果全部保存在一个文件中

java 复制代码
val singlePartitionRDD = cleanedLines.coalesce(1)
    // 保存清洗后的数据到文件
    val outputPath = "path/to/your/output/file.txt"
    singlePartitionRDD.saveAsTextFile(outputPath)
    // 停止 SparkContext
    sc.stop()
相关推荐
IvanCodes1 天前
三、Spark 运行环境部署:全面掌握四种核心模式
大数据·分布式·spark
喻师傅3 天前
SparkSQL 子查询 IN/NOT IN 对 NULL 值的处理
大数据·spark
星星妳睡了吗3 天前
Spark DataFrame与数据源交互
大数据·分布式·spark
神仙别闹4 天前
基于Spark图计算的社会网络分析系统
大数据·分布式·spark
IvanCodes4 天前
二、Spark 开发环境搭建 IDEA + Maven 及 WordCount 案例实战
大数据·spark·scala
涤生大数据4 天前
从8h到40min的极致并行优化:Spark小数据集UDTF处理的深度实践与原理剖析
大数据·分布式·spark·涤生大数据
qq_463944864 天前
【Spark征服之路-3.7-Spark-SQL核心编程(六)】
sql·ajax·spark
青云交5 天前
Java 大视界 -- 基于 Java 的大数据分布式计算在地球物理勘探数据处理与地质结构建模中的应用(356)
java·大数据·spark·地质建模·分布式计算·地球物理勘探·地震数据处理
qq_463944866 天前
【Spark征服之路-3.6-Spark-SQL核心编程(五)】
sql·ajax·spark
淦暴尼9 天前
基于spark的二手房数据分析可视化系统
大数据·分布式·数据分析·spark