利用IDEA开发Spark-SQL

创建子模块Spark-SQL,并添加依赖

创建Spark-SQL的测试代码:

运行结果:

自定义函数:

UDF:

UDAF(自定义聚合函数)

强类型的 Dataset 和弱类型的 DataFrame 都提供了相关的聚合函数, 如 count(),

countDistinct(),avg(),max(),min()。除此之外,用户可以设定自己的自定义聚合函数。Spark3.0之前我们使用的是UserDefinedAggregateFunction作为自定义聚合函数,从 Spark3.0 版本后可以统一采用强类型聚合函数 Aggregator

实验需求:计算平均工资

实现方式一:RDD

实现方式二:弱类型UDAF

运行结果:

相关推荐
JavaEdge.8 分钟前
07-LangChain Toolkit 实战:从工具函数到 Python Agent,再到 SQL Agent
python·sql·langchain
yueping233 分钟前
运行jar文件报错jar中没有主清单属性在idea里面怎么解决
pycharm·intellij-idea·jar
lonelyhiker40 分钟前
Docker 客户端 IDEA
docker·eureka·intellij-idea
历程里程碑1 小时前
53 多路转接select
linux·开发语言·数据结构·数据库·c++·sql·排序算法
山峰哥11 小时前
SQL慢查询调优实战:从全表扫描到索引覆盖的完整复盘
前端·数据库·sql·性能优化
hhb_61814 小时前
PL/SQL核心技术难点梳理与实战应用案例解析
数据库·sql
TDengine (老段)17 小时前
TDengine 一条 SQL 从客户端到执行完成的全链路
大数据·数据库·sql·物联网·时序数据库·tdengine·涛思数据
唐青枫19 小时前
别只会写 IF:MySQL CASE WHEN 条件判断实战详解
sql·mysql
升鲜宝供应链及收银系统源代码服务19 小时前
升鲜宝供应链管理系统box_周转物功能设计模块详细开发文档(一)---升鲜宝生鲜配送供应链管理系统源代码服务
java·intellij-idea·生鲜配送源代码·升鲜宝生鲜配送源代码·后端app与手机端·b2b订货商城·客户订货系统源代码
zhishijike21 小时前
全国行政区划sql(省市区)
数据库·sql·mysql