Spark-SQL(二)

一. 利用IDEA开发Spark-SQL

1 在pop.xml中添加spark-sql依赖

2 spark-sql测试代码

1)在idea中读取json文件创建DataFrame

2)SQL风格语法

3 )DSL风格语法

4) RDD转换成DataFrame,DataFrame转换成DataSet

5)DataSet转换成DataFrame ,DataFrame转换成 RDD

实例演示

运行结果

二 自定义函数

UDF

创建SparkSession ,读取json文件

实例演示

运行结果

三 UDAF

任务需求:计算平均工资

方式一 :RDD

运行结果

方式二:弱类型UDAF

运行结果

方式三:强类型UDAF

实例演示

运行结果

相关推荐
张先shen16 分钟前
Elasticsearch RESTful API入门:基础搜索与查询DSL
大数据·spring boot·elasticsearch·搜索引擎·全文检索·restful
isNotNullX2 小时前
数据中台架构解析:湖仓一体的实战设计
java·大数据·数据库·架构·spark
数据库安全4 小时前
首批|美创智能数据安全分类分级平台获CCIA“网络安全新产品”
大数据·人工智能·web安全
袋鼠云数栈6 小时前
使用自然语言体验对话式MySQL数据库运维
大数据·运维·数据库·后端·mysql·ai·数据治理·数栈·data+ai
渣渣盟6 小时前
掌握MySQL函数:高效数据处理指南
sql·mysql·adb·dba
阿里云大数据AI技术6 小时前
数据 + 模型 驱动 AI Native 应用发展
大数据·数据库·人工智能
??? Meggie7 小时前
【SQL】使用UPDATE修改表字段的时候,遇到1054 或者1064的问题怎么办?
android·数据库·sql
朴拙数科7 小时前
在 macOS 上安装与自定义 Oh My Zsh:让终端美观又高效 [特殊字符]
大数据·elasticsearch·macos
工藤学编程7 小时前
分库分表之实战-sharding-JDBC绑定表配置实战
数据库·分布式·后端·sql·mysql
Qdgr_9 小时前
传统报警难题频现,安全运行隐患重重
大数据·人工智能·安全