Spark-SQL(二)

一. 利用IDEA开发Spark-SQL

1 在pop.xml中添加spark-sql依赖

2 spark-sql测试代码

1)在idea中读取json文件创建DataFrame

2)SQL风格语法

3 )DSL风格语法

4) RDD转换成DataFrame,DataFrame转换成DataSet

5)DataSet转换成DataFrame ,DataFrame转换成 RDD

实例演示

运行结果

二 自定义函数

UDF

创建SparkSession ,读取json文件

实例演示

运行结果

三 UDAF

任务需求:计算平均工资

方式一 :RDD

运行结果

方式二:弱类型UDAF

运行结果

方式三:强类型UDAF

实例演示

运行结果

相关推荐
TOPGUS4 小时前
谷歌发布三大AI购物新功能:从对话式搜索到AI代你下单
大数据·人工智能·搜索引擎·chatgpt·谷歌·seo·数字营销
建群新人小猿7 小时前
陀螺匠企业助手——组织框架图
android·java·大数据·开发语言·容器
mifengxing7 小时前
操作系统(一)
大数据·数据库·操作系统
资讯雷达7 小时前
2026 年,GEO 优化如何选?风信子传媒:以“内容生态+智能分发”重塑品牌 AI 认知
大数据·人工智能·传媒
中科天工7 小时前
当智能包装行业迎来新机遇,如何驾驭发展趋势?
大数据·人工智能·智能
wan9zhixin8 小时前
2026年1月变电设备六氟化硫泄漏检测仪品牌推荐
大数据·网络·人工智能
Getgit8 小时前
Linux系统的特点有哪些
java·linux·运维·网络·sql
大鳥8 小时前
企业级 Hive on Spark 开发规范
hive·hadoop·spark
私域合规研究9 小时前
2026年私域的八大挑战及发展方向
大数据·人工智能