Spark-SQL(二)

一. 利用IDEA开发Spark-SQL

1 在pop.xml中添加spark-sql依赖

2 spark-sql测试代码

1)在idea中读取json文件创建DataFrame

2)SQL风格语法

3 )DSL风格语法

4) RDD转换成DataFrame,DataFrame转换成DataSet

5)DataSet转换成DataFrame ,DataFrame转换成 RDD

实例演示

运行结果

二 自定义函数

UDF

创建SparkSession ,读取json文件

实例演示

运行结果

三 UDAF

任务需求:计算平均工资

方式一 :RDD

运行结果

方式二:弱类型UDAF

运行结果

方式三:强类型UDAF

实例演示

运行结果

相关推荐
Elastic 中国社区官方博客4 分钟前
Elasticsearch:如何在 Elastic AI Builder 里使用 DSL 来查询 Elasticsearch
大数据·人工智能·elasticsearch·搜索引擎·ai·全文检索
qq_3660862210 分钟前
sql server OUTER APPLY使用
数据库·sql·mysql
tian_jiangnan20 分钟前
flink大数据15天速成教程
大数据·flink
一休哥※1 小时前
ClawTeam 完整使用教程:用 AI 多智能体团队自动完成复杂任务
大数据·人工智能·elasticsearch
yitian_hm1 小时前
HBase 原理深度剖析:从数据模型到存储机制
大数据·数据库·hbase
G探险者1 小时前
如何找到那些慢 SQL?
后端·sql
鹧鸪云光伏2 小时前
微电网设计系统及经济收益计算
大数据·人工智能·光伏·储能设计方案
絆人心2 小时前
最新 SQL 常用语句大全(新手入门 + 老手速查,含 DQL/DML/DDL)
数据库·sql·oracle
国冶机电安装2 小时前
其他弱电系统安装:从方案设计到落地施工的完整指南
大数据·运维·网络
蓝天守卫者联盟12 小时前
玩具喷涂废气治理厂家:行业现状、技术路径与选型指南
大数据·运维·人工智能·python