利用IDEA开发Spark-SQL

创建子模块Spark-SQL,并添加依赖

创建Spark-SQL的测试代码:

运行结果:

自定义函数:

UDF:

UDAF(自定义聚合函数)

强类型的 Dataset 和弱类型的 DataFrame 都提供了相关的聚合函数, 如 count(),

countDistinct(),avg(),max(),min()。除此之外,用户可以设定自己的自定义聚合函数。Spark3.0之前我们使用的是UserDefinedAggregateFunction作为自定义聚合函数,从 Spark3.0 版本后可以统一采用强类型聚合函数 Aggregator

实验需求:计算平均工资

实现方式一:RDD

实现方式二:弱类型UDAF

运行结果:

相关推荐
烤麻辣烫16 小时前
黑马程序员苍穹外卖(新手)DAY6
java·开发语言·学习·spring·intellij-idea
q***783717 小时前
SQL实现md5加密方法
数据库·sql
红树林0717 小时前
渗透测试之sql注入--报错注入
数据库·sql·安全·web安全
Appreciate(欣赏)18 小时前
JAVA使用poi类读取xlxs文件内容拼接成添加数据SQL
java·开发语言·sql
q***235718 小时前
python的sql解析库-sqlparse
数据库·python·sql
q***925119 小时前
sql实战解析-sum()over(partition by xx order by xx)
数据库·sql
TDengine (老段)21 小时前
MySQL/PG/TDengine 时间范围 SQL 表达式
sql·mysql·tdengine
q***710121 小时前
SQL注入(SQL Injection)攻击原理与防御措施
数据库·sql·oracle
f***R81 天前
解决bad SQL grammar []; nested exception is java.sql.SQLSyntaxErrorException
java·数据库·sql
6***09261 天前
如何快速搭建简单SpringBoot项目网页
java·spring boot·intellij-idea