Spark-SQL编程

  1. Spark-SQL连接Hive

连接方式概述:Spark SQL编译时可选择包含Hive支持,包含后能支持Hive表访问、UDF、HQL等功能,且无需事先安装Hive。连接方式有内嵌Hive、外部Hive、Spark-SQL CLI、Spark beeline及代码操作。

具体连接方式

内嵌Hive:使用时无需额外操作,但实际生产中很少使用。

外部Hive:在spark-shell中连接外部Hive,需拷贝hive-site.xml到conf/目录并修改连接地址,将MySQL驱动拷贝到jars/目录,拷贝core-site.xml和hdfs-site.xml到conf/目录,最后重启spark-shell。

Spark beeline:Spark Thrift Server兼容HiveServer2,可使用hive的beeline访问。连接步骤与连接外部Hive类似,还需启动Thrift Server,再用beeline连接。

Spark-SQL CLI:可在本地运行Hive元数据服务并执行查询任务。将mysql驱动和hive-site.xml分别放入jars/和conf/目录,运行bin/目录下的spark-sql.cmd即可。

代码操作Hive:导入spark-hive_2.12和hive-exec依赖,将hive-site.xml拷贝到项目resources目录。代码中创建SparkSession时启用Hive支持,可执行Hive相关操作。若出现权限问题,可设置HADOOP_USER_NAME解决;还可通过配置spark.sql.warehouse.dir指定数据库仓库地址。

  1. 统计有效数据条数及用户数量最多的前二十个地址

实验内容:利用Spark-SQL统计有效数据(uid、phone、addr字段均无空值)条数,并找出用户数量最多的前二十个地址。

数据处理思路:数据为json格式,需用get_json_object函数转换格式后分析处理。

代码示例(Scala)

scala

import org.apache.spark.sql.SparkSession

import org.apache.spark.sql.functions.get_json_object

object SparkSQLExperiment {

def main(args: Array[String]): Unit = {

val spark = SparkSession.builder()

.appName("SparkSQLExperiment")

.master("local[*]")

.getOrCreate()

// 读取json数据

val df = spark.read.json("path/to/your/json/data.json")

// 提取字段并过滤有效数据

val validData = df.select(

get_json_object("value", ".uid").alias("uid"),

get_json_object("value", ".phone").alias("phone"),

get_json_object("value", ".addr").alias("addr")

).filter("uid".isNotNull \&\& "phone".isNotNull && $"addr".isNotNull)

// 统计有效数据条数

val validDataCount = validData.count()

println(s"有效数据条数: $validDataCount")

// 按地址分组统计用户数量并取前二十

val top20Addrs = validData.groupBy("addr").count().orderBy($"count".desc).limit(20)

top20Addrs.show()

spark.stop()

}

}

相关推荐
不辉放弃5 小时前
详细讲解pyspark中dsl格式进行大数据开发中的的所有编程情况
大数据·spark
IT研究室5 小时前
大数据毕业设计选题推荐-基于大数据的分化型甲状腺癌复发数据可视化分析系统-Spark-Hadoop-Bigdata
大数据·hadoop·信息可视化·spark·毕业设计·源码·bigdata
计算机编程小央姐5 小时前
数据安全成焦点:基于Hadoop+Spark的信用卡诈骗分析系统实战教程
大数据·hadoop·python·spark·毕业设计·课程设计·dash
工业互联网专业6 小时前
基于Spark的新冠肺炎疫情实时监控系统_django+spider
python·spark·django·vue·毕业设计·源码·课程设计
BYSJMG6 小时前
大数据毕业设计推荐:基于Spark的零售时尚精品店销售数据分析系统【Hadoop+python+spark】
大数据·hadoop·python·spark·django·课程设计
武子康8 小时前
大数据-89 Spark应用必备:进程通信、序列化机制与RDD执行原理
大数据·后端·spark
计算机毕设残哥1 天前
数据量太大处理不了?Hadoop+Spark轻松解决海洋气象大数据分析难题
大数据·hadoop·python·数据分析·spark·django·dash
计算机编程小央姐1 天前
大数据毕业设计选题推荐:学生考试表现影响因素Hadoop+Spark实现方案
大数据·hadoop·数据分析·spark·毕业设计·课程设计
BYSJMG1 天前
计算机大数据毕业设计推荐:基于Spark的新能源汽车保有量可视化分析系统
大数据·分布式·python·spark·django·编辑器·课程设计
IT毕设梦工厂1 天前
大数据毕业设计选题推荐-基于大数据的儿童出生体重和妊娠期数据可视化分析系统-Hadoop-Spark-数据可视化-BigData
大数据·hadoop·信息可视化·spark·毕业设计·源码·bigdata