利用IDEA开发Spark-SQL

创建子模块Spark-SQL,并添加依赖

创建Spark-SQL的测试代码:

运行结果:

自定义函数:

UDF:

UDAF(自定义聚合函数)

强类型的 Dataset 和弱类型的 DataFrame 都提供了相关的聚合函数, 如 count(),

countDistinct(),avg(),max(),min()。除此之外,用户可以设定自己的自定义聚合函数。Spark3.0之前我们使用的是UserDefinedAggregateFunction作为自定义聚合函数,从 Spark3.0 版本后可以统一采用强类型聚合函数 Aggregator

实验需求:计算平均工资

实现方式一:RDD

实现方式二:弱类型UDAF

运行结果:

相关推荐
last_zhiyin2 小时前
Oracle sql tuning guide 翻译 Part 6-4 --- Hint使用准则和Hint使用报告
数据库·sql·oracle·sql tunning
235168 小时前
【MySQL】慢查寻的发现和解决优化(思维导图版)
java·后端·sql·mysql·职场和发展·数据库开发·数据库架构
曾凡宇先生10 小时前
无法远程连接 MySQL
android·开发语言·数据库·sql·tcp/ip·mysql·adb
2301_8002561114 小时前
地理空间数据库作业笔记——查询最偏僻的城市
数据库·笔记·sql·postgresql·1024程序员节
蜡笔小炘15 小时前
SQL sever数据库--第二次作业
数据库·sql·oracle
赤子之心51317 小时前
idea开启远程调试
intellij-idea·远程调试
超防局17 小时前
SQLMap 终极渗透手册(2025全功能版)
sql·web安全·1024程序员节
帧栈17 小时前
开发避坑指南(66):IDEA 2025 Gradle构建安全协议警告:Maven仓库HTTPS切换或允许HTTP的配置方法
gradle·intellij-idea
weixin_4365250717 小时前
Windows - Maven 安装到 IDEA 配置全流程
java·maven·intellij-idea
布朗克1681 天前
MySQL 及 SQL 注入详细说明
数据库·sql·mysql·1024程序员节