Spark-SQL(二)

一. 利用IDEA开发Spark-SQL

1 在pop.xml中添加spark-sql依赖

2 spark-sql测试代码

1)在idea中读取json文件创建DataFrame

2)SQL风格语法

3 )DSL风格语法

4) RDD转换成DataFrame,DataFrame转换成DataSet

5)DataSet转换成DataFrame ,DataFrame转换成 RDD

实例演示

运行结果

二 自定义函数

UDF

创建SparkSession ,读取json文件

实例演示

运行结果

三 UDAF

任务需求:计算平均工资

方式一 :RDD

运行结果

方式二:弱类型UDAF

运行结果

方式三:强类型UDAF

实例演示

运行结果

相关推荐
小名叫咸菜2 小时前
Spark-SQL核心编程语言
spark
精神内耗中的钙奶饼干2 小时前
Windows 系统上安装和使用 Apache Kafka记录
大数据·kafka
观无2 小时前
基于AOP+Log4Net+AutoFac日志框架
java·大数据·数据库
EasyDSS3 小时前
安防监控视频管理平台EasyCVR助力建筑工地施工4G/5G远程视频监管方案
大数据·网络·网络协议·音视频
F36_9_4 小时前
质量问题频发,如何提升源头把控
大数据·运维
lqg_zone4 小时前
Elasticvue-轻量级Elasticsearch可视化管理工具
大数据·elasticsearch·搜索引擎
Themberfue4 小时前
SQL ⑧-事务
数据库·sql·mysql
youka1504 小时前
大数据学习栈记——MongoDB编程
大数据·学习·mongodb
☞无能盖世♛逞何英雄☜5 小时前
Web三漏洞学习(其二:sql注入)
数据库·sql·学习
星辰瑞云5 小时前
Spark-SQL核心编程2
大数据·分布式·spark