利用IDEA开发Spark-SQL

创建子模块Spark-SQL,并添加依赖

创建Spark-SQL的测试代码:

运行结果:

自定义函数:

UDF:

UDAF(自定义聚合函数)

强类型的 Dataset 和弱类型的 DataFrame 都提供了相关的聚合函数, 如 count(),

countDistinct(),avg(),max(),min()。除此之外,用户可以设定自己的自定义聚合函数。Spark3.0之前我们使用的是UserDefinedAggregateFunction作为自定义聚合函数,从 Spark3.0 版本后可以统一采用强类型聚合函数 Aggregator

实验需求:计算平均工资

实现方式一:RDD

实现方式二:弱类型UDAF

运行结果:

相关推荐
武子康11 小时前
大数据-96 SparkSQL 语句详解:从 DataFrame 到 SQL 查询与 Hive 集成全解析
大数据·后端·spark
小朋友,你是否有很多问号?12 小时前
Spark10- RDD转DataFrame的三种方式
大数据·javascript·spark
麦麦大数据14 小时前
J002 Vue+SpringBoot电影推荐可视化系统|双协同过滤推荐算法评论情感分析spark数据分析|配套文档1.34万字
vue.js·spring boot·数据分析·spark·可视化·推荐算法
在路上`18 小时前
前端学习之后端java小白(四)之数据库设计
sql·学习
渣渣盟1 天前
Spark核心:单跳转换率计算全解析
大数据·spark·scala·apache
IT毕设梦工厂1 天前
大数据毕业设计选题推荐-基于大数据的国家医用消耗选品采集数据可视化分析系统-Hadoop-Spark-数据可视化-BigData
大数据·hadoop·信息可视化·spark·毕业设计·数据可视化·bigdata
智海观潮1 天前
Spark SQL解析查询parquet格式Hive表获取分区字段和查询条件
hive·sql·spark
李少兄1 天前
IntelliJ IDEA 启动项目时配置端口指南
数据库·sql·intellij-idea
白云如幻1 天前
【Java】QBC检索和本地SQL检索
java·数据库·sql
问道飞鱼1 天前
【大数据相关】ClickHouse命令行与SQL语法详解
大数据·sql·clickhouse