Spark-SQL 项目

一、项目概述

(一)实验目标

  1. 统计有效数据条数:筛选出uid、phone、addr三个字段均无空值的记录并计数。
  2. 提取用户数量最多的前 20 个地址:按地址分组统计用户数,按降序排序后取前 20 名。

(二)数据说明

  1. 数据格式
    • 输入数据为 JSON 格式,字段包括uid(用户 ID)、phone(电话号码)、addr(地址)。
    • 数据特点:部分记录存在格式不规范问题(如单引号混用、字段值缺失、地址格式不统一,例如 "江苏省 苏州""广东省 中山" 等),需先清洗转换。
    • 示例数据:

json

{"uid":"1000166111","phone":"17703771999","addr":"河南省 南阳"}

{"uid":"1000432103","phone":"15388889881","addr":"云南省 昆明"}

  1. 有效数据定义
    同时满足以下条件的记录:
    • uid不为空(非null且非空字符串);
    • phone不为空(非null且非空字符串);
    • addr不为空(非null且非空字符串)。

二、实验准备

(一)环境配置

  1. 软件依赖
    • Spark 3.x+(需启用 Hive 支持以使用get_json_object函数);
    • 编程语言:Scala/Python(本文以 Scala 为例,Python 代码可通过 PySpark 实现);
    • 配置文件:确保spark.sql.warehouse.dir指向 HDFS 或本地路径(如hdfs://node01:9000/user/hive/warehouse)。
  2. 数据准备
    • 将 JSON 数据保存为文件(如user_data.json),确保每行一个 JSON 对象;
    • 若存在格式错误(如单引号),先用文本处理工具(如sed 's/\'/"/g')统一为双引号。

三、数据处理流程

(一)数据读取与格式转换

1. 读取原始数据

使用 Spark 的 JSON 数据源直接加载数据,自动推断 Schema:

scala

val rawDF = spark.read.json("path/to/user_data.json")

rawDF.printSchema() // 检查字段是否正确解析(可能因格式问题导致字段类型为String)

2. 字段提取与清洗

通过get_json_object函数(Spark SQL 内置函数)解析 JSON 字段,处理不规范格式:

scala

// 方法1:Spark SQL语句(推荐,清晰易读)

rawDF.createOrReplaceTempView("raw_data")

val parsedDF = spark.sql("""

SELECT

get_json_object(raw_data.data, '$.uid') AS uid, -- 提取uid

get_json_object(raw_data.data, '$.phone') AS phone, -- 提取phone

trim(get_json_object(raw_data.data, '$.addr')) AS addr -- 提取addr并去除前后空格

FROM raw_data

""")

// 方法2:DataFrame API(适合编程式处理)

import org.apache.spark.sql.functions.expr

val parsedDF = rawDF.select(

expr("get_json_object(data, '$.uid')").as("uid"),

expr("get_json_object(data, '$.phone')").as("phone"),

expr("trim(get_json_object(data, '$.addr'))").as("addr")

)

(二)统计有效数据条数

1. 筛选有效数据

过滤掉任一字段为空的记录:

scala

val validDF = parsedDF.filter(

col("uid").isNotNull &&

col("phone").isNotNull &&

col("addr").isNotNull

)

或通过SQL语句:

spark.sql("SELECT * FROM parsed_data WHERE uid IS NOT NULL AND phone IS NOT NULL AND addr IS NOT NULL")

2. 计数

scala

val validCount = validDF.count()

println(s"有效数据条数:$validCount")

或通过SQL返回结果:

spark.sql("SELECT COUNT(*) AS valid_data_count FROM valid_data").show()

(三)统计用户数量最多的前 20 个地址

1. 分组聚合

按addr分组,统计每个地址的用户数(直接使用count(*),因uid唯一,也可count(DISTINCT uid),需根据业务需求选择):

scala

val addrGroupDF = validDF.groupBy("addr").count().withColumnRenamed("count", "user_count")

2. 排序与筛选

按用户数降序排序,取前 20 条:

scala

val top20Addresses = addrGroupDF.orderBy(desc("user_count")).limit(20)

top20Addresses.show(false) // 展示结果,地址不换行

3. SQL 完整实现

spark.sql("""

SELECT

addr,

COUNT(*) AS user_count-- 或COUNT(DISTINCT uid)去重统计

FROM valid_data

GROUP BY addr

ORDER BY user_count DESC

LIMIT 20

""").show()

五、扩展与优化建议

(一)数据清洗增强

  1. 地址标准化:使用正则表达式或自定义函数清洗地址(如 "江苏省苏州" 统一为 "江苏省苏州市");
  2. 手机号格式校验:添加正则表达式过滤无效手机号(如^13-9\d{9}$)。

(二)性能优化

  1. 分区与缓存:对大数据集使用repartition分区,对高频访问的中间表(如validDF)调用cache();
  2. 列式存储:将结果数据保存为 Parquet 格式(validDF.write.parquet("output/valid_data")),提升后续查询效率。

(三)结果输出

将最终结果导出到 HDFS、本地文件或数据库:

scala

top20Addresses.write

.mode("overwrite")

.csv("output/top20_addresses") // 保存为CSV文件

相关推荐
bksczm1 小时前
InnoDB 通用表空间与临时表空间详解
大数据·数据库·mysql
阿里云大数据AI技术2 小时前
AI 原生大数据服务 ADA 快速入门:完成首次对话式数据分析
大数据·人工智能
衡石科技2 小时前
企业级 BI 的安全治理:衡石如何贯通认证、数据权限与审计
大数据·人工智能·安全·商业智能
yyk333246 小时前
Flink详细讲解
大数据·flink
codeejun6 小时前
每日一Go·MySQL-15、慢查询日志实战分析(从 0 到 1 实战排查慢 SQL)
sql·mysql·golang
用户46043852250867 小时前
关于paimon-rust 数据写入链路
大数据
Decay__7 小时前
SQLServer 监控体系构建 —— sql_exporter + Prometheus + Grafana 全栈实战
运维·数据库·sql·mysql·架构
数字融合9 小时前
透明化视频驱动化工生产动态三维重建管控技术
大数据·人工智能·python
演艺大赏9 小时前
两个 NameNode 一起起不来以及Hadoop 3.3.2 里那个认不出自家 JournalNode 的 Servlet
大数据·hadoop
知行产研9 小时前
会感知、能协同,金科【钻孔】智能化路线 | bauma CHINA 2026
大数据·人工智能