利用IDEA开发Spark-SQL

创建子模块Spark-SQL,并添加依赖

创建Spark-SQL的测试代码:

运行结果:

自定义函数:

UDF:

UDAF(自定义聚合函数)

强类型的 Dataset 和弱类型的 DataFrame 都提供了相关的聚合函数, 如 count(),

countDistinct(),avg(),max(),min()。除此之外,用户可以设定自己的自定义聚合函数。Spark3.0之前我们使用的是UserDefinedAggregateFunction作为自定义聚合函数,从 Spark3.0 版本后可以统一采用强类型聚合函数 Aggregator

实验需求:计算平均工资

实现方式一:RDD

实现方式二:弱类型UDAF

运行结果:

相关推荐
lifewange1 小时前
SQL 中 IN 和 AND 可以搭配使用么?
数据库·sql
lzhdim3 小时前
SQL 入门 7:SQL 聚合与分组:函数、GROUP BY 与 ROLLUP
java·服务器·数据库·sql·mysql
lifewange3 小时前
INSERT INTO ... SELECT ...
数据库·sql
烤麻辣烫3 小时前
I/O流 基础流
java·开发语言·学习·intellij-idea
春和景明3603 小时前
费曼学习法和项目
intellij-idea
Uso_Magic3 小时前
SQLSERVER__EXPLAIN 常用分析案例。
服务器·数据库·sql
XuDream8 小时前
idea中忽略idea文件不提交git和取消被 Git 追踪
java·git·intellij-idea
程序员夏末8 小时前
【MySQL | 第二篇】 MVCC的底层实现(多版本并发控制)
数据库·sql·mysql
xcLeigh8 小时前
Oracle 迁移深度复盘:多数据库选型决策全解析
大数据·数据库·sql·oracle·数据迁移·数据管理
guestsun8 小时前
Idea反编译插件--方便查看和修改class文件
java·intellij-idea·jar·反编辑工具·idea反编译插件·class反编译·jar反编译