Spark-SQL(二)

一. 利用IDEA开发Spark-SQL

1 在pop.xml中添加spark-sql依赖

2 spark-sql测试代码

1)在idea中读取json文件创建DataFrame

2)SQL风格语法

3 )DSL风格语法

4) RDD转换成DataFrame,DataFrame转换成DataSet

5)DataSet转换成DataFrame ,DataFrame转换成 RDD

实例演示

运行结果

二 自定义函数

UDF

创建SparkSession ,读取json文件

实例演示

运行结果

三 UDAF

任务需求:计算平均工资

方式一 :RDD

运行结果

方式二:弱类型UDAF

运行结果

方式三:强类型UDAF

实例演示

运行结果

相关推荐
爱思德学术1 小时前
EI会议:第三届大数据、计算智能与应用国际会议(BDCIA 2025)
大数据·机器学习·数据可视化·计算智能
菜鸡儿齐1 小时前
spark组件-spark sql-读取数据
大数据·sql·spark
想ai抽2 小时前
Flink中的Lookup join和Temporal join 的语法是一样的吗?
java·大数据·flink
落雪财神意3 小时前
黄金本周想法
大数据·人工智能·金融·区块链·期股
网络安全-海哥3 小时前
Web安全深度实战:从漏洞原理到防护方案
sql·web安全·网络安全·xss·csrf·漏洞挖掘·安全防护
TDengine (老段)3 小时前
TDengine 数学函数 PI 用户手册
大数据·数据库·时序数据库·iot·tdengine·涛思数据
呆呆小金人15 小时前
SQL入门:正则表达式-高效文本匹配全攻略
大数据·数据库·数据仓库·sql·数据库开发·etl·etl工程师
一棵树735116 小时前
Android OpenGL ES初窥
android·大数据·elasticsearch
白鲸开源16 小时前
(二)从分层架构到数据湖仓架构:数据仓库分层下的技术架构与举例
大数据·数据库·数据分析
赵谨言17 小时前
基于Python楼王争霸劳动竞赛数据处理分析
大数据·开发语言·经验分享·python