利用IDEA开发Spark-SQL

创建子模块Spark-SQL,并添加依赖

创建Spark-SQL的测试代码:

运行结果:

自定义函数:

UDF:

UDAF(自定义聚合函数)

强类型的 Dataset 和弱类型的 DataFrame 都提供了相关的聚合函数, 如 count(),

countDistinct(),avg(),max(),min()。除此之外,用户可以设定自己的自定义聚合函数。Spark3.0之前我们使用的是UserDefinedAggregateFunction作为自定义聚合函数,从 Spark3.0 版本后可以统一采用强类型聚合函数 Aggregator

实验需求:计算平均工资

实现方式一:RDD

实现方式二:弱类型UDAF

运行结果:

相关推荐
starzy199011 小时前
SparkStreaming 之 Direct 模式深度剖析
大数据·spark
山峰哥12 小时前
数据库工程与查询优化案例深度复盘‌
数据库·sql·oracle·编辑器·深度优先·宽度优先
JLWcai2025100915 小时前
树脂砂轮质保与科学存放
mongodb·zookeeper·spark·memcached·storm
茶栀(*´I`*)16 小时前
数据库零基础入门指南:从基本概念到 SQL 实战
数据库·sql
zcn12617 小时前
exists子查询改写思考
数据库·sql·sql优化改写
黄俊懿17 小时前
【架构师从入门到进阶】第五章:DNS&CDN&网关优化思路——第八节:网关-注入攻击与预防
sql·网络安全·架构·系统架构·架构师·架构设计
卓怡学长19 小时前
w175基于springboot校园二手物品交易平台
java·spring boot·spring·maven·intellij-idea
用户36105886261219 小时前
SparkStreaming 之 DStream 底层结构剖析
大数据·spark
2601_9621229720 小时前
解决 IntelliJ IDEA 中 Tomcat 日志乱码问题的详细指南
java·tomcat·intellij-idea
HackTwoHub20 小时前
Butter_Cookie 黄油曲奇|浏览器渗透插件,云存储检测、XSS、SQL 注入一站式 Web 安全测试工具
前端·sql·安全·web安全·网络安全·自动化·xss