import org.apache.spark.{SparkConf, SparkContext}
object DataFilter {
// 思路
// 1. 读取数据,读入文本文件
// 2. 对于文件中的每一行
// 拆分出年龄split(",")(1)
// 判断是不是数字,是,就保留记录"45","abc" (正则表达式 \d+)
// 3. 把过滤之后的内容,保存到文件saveAsTexttFile()
def main(args: Array[String]): Unit = {
// 创建spark
val conf = new SparkConf().setAppName("DataFilter").setMaster("local[*]")
val sc = new SparkContext(conf)
val rdd = sc.textFile("data/file.txt")
// 过滤之后的rdd
var rdd1 = rdd.filter(line => {
// 拆分出年龄
val age = line.split(",")(1)
// 判断年龄是否是数字
println(age)
age.matches("\\d+")
})
//将所有的分区数据合并成一个分区
rdd1 = rdd1.coalesce(1)
//保存到文件
rdd1.saveAsTextFile("data/file1.txt")
}
}
spark数据清洗
只因只因爆2025-05-16 13:40
相关推荐
大大大大晴天17 分钟前
别让金额越算越多:事实表与维度表设计避坑指南如夏倾城2 小时前
入侵检测系统(IDS)原理、部署模式与 IPS/防火墙对比wuyk5552 小时前
Spider-第20讲-综合实战可上线爬虫培培说证2 小时前
大数据与会计专业性价比高的证书有哪些?伞伞悦读5 小时前
【第90期】KNN分类回归流水线与K值对照的实验与排查老余说AI5 小时前
跨境电商、课程出海:六款多语言视频翻译工具选型指南starzy19905 小时前
Structured Streaming 模块与编程模型:引擎内部到底由什么组成Lansonli5 小时前
大数据Spark(九十二):Spark WebUI介绍AI_Auto7 小时前
数字化转型工作手册⑨|干什么①:数字化转型能拿到哪三类价值效益?注塑机数据采集联网8 小时前
注塑机智能数据采集联网网关 ZK-D1/D3 如何读取力劲注塑机控制器数据并对接 MES/IOT 平台