Spark-SQL(二)

一. 利用IDEA开发Spark-SQL

1 在pop.xml中添加spark-sql依赖

2 spark-sql测试代码

1)在idea中读取json文件创建DataFrame

2)SQL风格语法

3 )DSL风格语法

4) RDD转换成DataFrame,DataFrame转换成DataSet

5)DataSet转换成DataFrame ,DataFrame转换成 RDD

实例演示

运行结果

二 自定义函数

UDF

创建SparkSession ,读取json文件

实例演示

运行结果

三 UDAF

任务需求:计算平均工资

方式一 :RDD

运行结果

方式二:弱类型UDAF

运行结果

方式三:强类型UDAF

实例演示

运行结果

相关推荐
jiedaodezhuti2 小时前
为什么elasticsearch配置文件JVM配置31G最佳
大数据·jvm·elasticsearch
思通数据2 小时前
AI全域智能监控系统重构商业清洁管理范式——从被动响应到主动预防的监控效能革命
大数据·人工智能·目标检测·机器学习·计算机视觉·数据挖掘·ocr
Le_ee3 小时前
sqli-labs靶场第七关——文件导出注入
数据库·sql·网络安全·php·sql注入·sqli—labs
lilye663 小时前
精益数据分析(55/126):双边市场模式的挑战、策略与创业阶段关联
大数据·人工智能·数据分析
码上地球3 小时前
因子分析基础指南:原理、步骤与地球化学数据分析应用解析
大数据·数据挖掘·数据分析
胡小禾3 小时前
ES常识7:ES8.X集群允许4个 master 节点吗
大数据·elasticsearch·搜索引擎
火龙谷4 小时前
【hadoop】Kafka 安装部署
大数据·hadoop·kafka
强哥叨逼叨4 小时前
没经过我同意,flink window就把数据存到state里的了?
大数据·flink
胡小禾5 小时前
ES常识8:ES8.X如何实现热词统计
大数据·elasticsearch·jenkins
appsvip6 小时前
用短说社区搭建的沉浸式生活方式分享平台
大数据·生活