利用IDEA开发Spark-SQL

创建子模块Spark-SQL,并添加依赖

创建Spark-SQL的测试代码:

运行结果:

自定义函数:

UDF:

UDAF(自定义聚合函数)

强类型的 Dataset 和弱类型的 DataFrame 都提供了相关的聚合函数, 如 count(),

countDistinct(),avg(),max(),min()。除此之外,用户可以设定自己的自定义聚合函数。Spark3.0之前我们使用的是UserDefinedAggregateFunction作为自定义聚合函数,从 Spark3.0 版本后可以统一采用强类型聚合函数 Aggregator

实验需求:计算平均工资

实现方式一:RDD

实现方式二:弱类型UDAF

运行结果:

相关推荐
YANshangqian15 分钟前
DISMTools(镜像管理工具)
intellij-idea
·云扬·33 分钟前
InnoDB事务隔离级别与加锁机制深度解析
数据库·sql·mysql
计算机毕设指导61 小时前
基于微信小程序的校园物品租赁与二手交易系统【源码文末联系】
spring boot·mysql·微信小程序·小程序·tomcat·maven·intellij-idea
大佬,救命!!!2 小时前
python对应sql操作
开发语言·python·sql·学习笔记·学习方法
IT枫斗者5 小时前
Java 开发实战:从分层架构到性能优化(Spring Boot + MyBatis-Plus + Redis + JWT)
java·spring boot·sql·mysql·性能优化·架构
悟能不能悟5 小时前
mybatis sql where a=#{a},如果a为null,会返回什么
数据库·sql·mybatis
l1t5 小时前
豆包解读论文:将具有分支和循环控制流的命令式程序转换为标准SQL1999的公共表表达式
开发语言·数据库·人工智能·python·sql·postgresql·duckdb
2501_916766546 小时前
idea多模块项目运行设置
java·intellij-idea
rannn_1116 小时前
【SQL题解】力扣高频 SQL 50题|DAY1
后端·sql·题解
weixin_462446236 小时前
【原创实践】使用 Docker 部署 IntelliJ IDEA(linuxserver/intellij-idea)完整指南
docker·容器·intellij-idea