利用IDEA开发Spark-SQL

创建子模块Spark-SQL,并添加依赖

创建Spark-SQL的测试代码:

运行结果:

自定义函数:

UDF:

UDAF(自定义聚合函数)

强类型的 Dataset 和弱类型的 DataFrame 都提供了相关的聚合函数, 如 count(),

countDistinct(),avg(),max(),min()。除此之外,用户可以设定自己的自定义聚合函数。Spark3.0之前我们使用的是UserDefinedAggregateFunction作为自定义聚合函数,从 Spark3.0 版本后可以统一采用强类型聚合函数 Aggregator

实验需求:计算平均工资

实现方式一:RDD

实现方式二:弱类型UDAF

运行结果:

相关推荐
乐12391 小时前
追飞机 icao数据库地址
sql
Hello.Reader2 小时前
PyFlink DataStream 程序骨架、常用 Source/Sink、状态(State)、与 Table/SQL 互转一篇搞定
数据库·sql·linq
kejiayuan18 小时前
CTE更易懂的SQL风格
数据库·sql
PyHaVolask19 小时前
SQL注入漏洞原理
数据库·sql
2501_9335130421 小时前
Oracle统计分析某个SQL的执行频率
数据库·sql·oracle
l1t21 小时前
DeepSeek辅助编写的利用位掩码填充唯一候选数方法求解数独SQL
数据库·sql·算法·postgresql
冰暮流星1 天前
sql语句之select语句的基本使用
数据库·sql·mysql
范什么特西1 天前
下载idea旧版本
java·ide·intellij-idea
内存不泄露1 天前
基于Spring Boot和Vue的企业办公自动化系统设计与实现
java·vue.js·spring boot·intellij-idea
霖霖总总1 天前
[小技巧15]深入解读 MySQL sql_mode:从原理到实践,规避常见坑
sql·mysql