利用IDEA开发Spark-SQL

创建子模块Spark-SQL,并添加依赖

创建Spark-SQL的测试代码:

运行结果:

自定义函数:

UDF:

UDAF(自定义聚合函数)

强类型的 Dataset 和弱类型的 DataFrame 都提供了相关的聚合函数, 如 count(),

countDistinct(),avg(),max(),min()。除此之外,用户可以设定自己的自定义聚合函数。Spark3.0之前我们使用的是UserDefinedAggregateFunction作为自定义聚合函数,从 Spark3.0 版本后可以统一采用强类型聚合函数 Aggregator

实验需求:计算平均工资

实现方式一:RDD

实现方式二:弱类型UDAF

运行结果:

相关推荐
星晨雪海10 小时前
若依框架原有页面功能进行了点位管理改造之列表查询(4)
数据库·sql·mybatis
历程里程碑10 小时前
MySQL事务深度解析:ACID到MVCC实战+万字长文解析
开发语言·数据结构·数据库·c++·sql·mysql·排序算法
a***728910 小时前
SQL 注入漏洞原理以及修复方法
网络·数据库·sql
DROm RAPS10 小时前
SQL 实战:复杂数据去重与唯一值提取
前端·数据库·sql
Mr-Wanter11 小时前
踩坑记录:IDEA 启动服务连续三次 OOM 内存溢出完整解决
java·ide·intellij-idea·oom
万世浮华戏骨11 小时前
PHP 与数据库交互 与 SQL注⼊漏洞
数据库·sql·php
hua8722212 小时前
Spring Boot 中使用 @Transactional 注解配置事务管理
数据库·spring boot·sql
麻辣大虾12 小时前
SQL语言五大分类
数据库·sql·mysql
Treh UNFO14 小时前
SQL 注入详解:原理、危害与防范措施
数据库·sql·oracle
历程里程碑14 小时前
MySQL视图:虚拟表的实战技巧
java·开发语言·数据库·c++·sql·mysql·adb