本节课课堂总结:

利用IDEA开发Spark-SQL:

1.创建子模块Spark-SQL,并添加依赖

<dependency>

<groupId>org.apache.spark</groupId>

<artifactId>spark-sql_2.12</artifactId>

<version>3.0.0</version>

</dependency>

2.创建Spark-SQL的测试代码:

case class User(id:Int,name:String,age:Int)

object SparkSQLDemo {

def main(args: Array[String]): Unit = {

//创建上下文环境配置对象

val sparkConf = new SparkConf().setMaster("local[*]").setAppName("SQLDemo")

//创建SparkSession对象

val spark :SparkSession = SparkSession.builder().config(sparkConf).getOrCreate()

import spark.implicits._

//读取json文件

val df : DataFrame = spark.read.json("Spark-SQL/input/user.json")

df.show()

//SQL风格语法

df.createOrReplaceTempView("user")

spark.sql("select * from user").show

spark.sql("select avg(age) from user").show

//DSL风格语法

df.select("username","age").show()

//RDD=>DataFrame=>DataSet

//RDD

val rdd1 :RDD[(Int,String,Int)] = spark.sparkContext.makeRDD(

List((1,"zhangsan",30),(2,"lisi",40))

)

//DataFrame

val df1 :DataFrame = rdd1.toDF("id","name","age")

df1.show()

//DataSet

val ds1 :Dataset[User] = df1.as[User]

ds1.show()

//DataSet=>DataFrame=>RDD

val df2 =ds1.toDF()

df2.show()

val rdd2 :RDD[Row] = df2.rdd

rdd2.foreach(a=>println(a.getString(1)))

rdd1.map{

case (id,name,age)=>User(id,name,age)

}.toDS().show()

val rdd3 = ds1.rdd

rdd3.foreach(a=>println(a.age))

rdd3.foreach(a=>println(a.id))

rdd3.foreach(a=>println(a.name))

spark.stop()

}

}

自定义函数:

val sparkConf = new SparkConf().setMaster("local[*]").setAppName("SQLDemo")

//创建SparkSession对象

val spark :SparkSession = SparkSession.builder().config(sparkConf).getOrCreate()

import spark.implicits._

//读取json文件

val df : DataFrame = spark.read.json("Spark-SQL/input/user.json")

spark.udf.register("addName",(x:String)=>"Name:"+x)

df.createOrReplaceTempView("people")

spark.sql("select addName(username),age from people").show()

spark.stop()

UDAF(自定义聚合函数)

强类型的 Dataset 和弱类型的 DataFrame 都提供了相关的聚合函数, 如 count(),

countDistinct(),avg(),max(),min()。除此之外,用户可以设定自己的自定义聚合函数。Spark3.0之前我们使用的是UserDefinedAggregateFunction作为自定义聚合函数,从 Spark3.0 版本后可以统一采用强类型聚合函数 Aggregator

实验需求:计算平均工资

实现方式一:RDD

val sparkconf: SparkConf = new SparkConf().setAppName("app").setMaster("local[*]")

val sc: SparkContext = new SparkContext(conf)

val resRDD: (Int, Int) = sc.makeRDD(List(("zhangsan", 20), ("lisi", 30), ("wangwu",40))).map {

case (name, salary) => {

(salary, 1)

}

}.reduce {

(t1, t2) => {

(t1._1 + t2._1, t1._2 + t2._2)

}

}

println(resRDD._1/resRDD._2)

// 关闭连接

sc.stop()

实现方式二:弱类型UDAF

class MyAverageUDAF extends UserDefinedAggregateFunction{

def inputSchema: StructType =

StructType(Array(StructField("salary",IntegerType)))

// 聚合函数缓冲区中值的数据类型(salary,count)

def bufferSchema: StructType = {

StructType(Array(StructField("sum",LongType),StructField("count",LongType)))

}

// 函数返回值的数据类型

def dataType: DataType = DoubleType

// 稳定性:对于相同的输入是否一直返回相同的输出。

def deterministic: Boolean = true

// 函数缓冲区初始化

def initialize(buffer: MutableAggregationBuffer): Unit = {

// 存薪资的总和

buffer(0) = 0L

// 存薪资的个数

buffer(1) = 0L

}

// 更新缓冲区中的数据

def update(buffer: MutableAggregationBuffer,input: Row): Unit = {

if (!input.isNullAt(0)) {

buffer(0) = buffer.getLong(0) + input.getInt(0)

buffer(1) = buffer.getLong(1) + 1

}

}

// 合并缓冲区

def merge(buffer1: MutableAggregationBuffer,buffer2: Row): Unit = {

buffer1(0) = buffer1.getLong(0) + buffer2.getLong(0)

buffer1(1) = buffer1.getLong(1) + buffer2.getLong(1)

}

// 计算最终结果

def evaluate(buffer: Row): Double = buffer.getLong(0).toDouble /

buffer.getLong(1)

}

val sparkconf: SparkConf = new SparkConf().setAppName("app").setMaster("local[*]")

val spark:SparkSession = SparkSession.builder().config(conf).getOrCreate()

import spark.implicits._

val res :RDD[(String,Int)]= spark.sparkContext.makeRDD(List(("zhangsan", 20), ("lisi", 30), ("wangwu",40)))

val df :DataFrame = res.toDF("name","salary")

df.createOrReplaceTempView("user")

var myAverage = new MyAverageUDAF

//在 spark 中注册聚合函数

spark.udf.register("avgSalary",myAverage)

spark.sql("select avgSalary(salary) from user").show()

// 关闭连接

spark.stop()

实现方式三:强类型UDAF

case class Buff(var sum:Long,var cnt:Long)

class MyAverageUDAF extends Aggregator[Long,Buff,Double]{

override def zero: Buff = Buff(0,0)

override def reduce(b: Buff, a: Long): Buff = {

b.sum += a

b.cnt += 1

b

}

override def merge(b1: Buff, b2: Buff): Buff = {

b1.sum += b2.sum

b1.cnt += b2.cnt

b1

}

override def finish(reduction: Buff): Double = {

reduction.sum.toDouble/reduction.cnt

}

override def bufferEncoder: Encoder[Buff] = Encoders.product

override def outputEncoder: Encoder[Double] = Encoders.scalaDouble

}

val sparkconf: SparkConf = new SparkConf().setAppName("app").setMaster("local[*]")

val spark:SparkSession = SparkSession.builder().config(conf).getOrCreate()

import spark.implicits._

val res :RDD[(String,Int)]= spark.sparkContext.makeRDD(List(("zhangsan", 20), ("lisi", 30), ("wangwu",40)))

val df :DataFrame = res.toDF("name","salary")

df.createOrReplaceTempView("user")

var myAverage = new MyAverageUDAF

//在 spark 中注册聚合函数

spark.udf.register("avgSalary",functions.udaf(myAverage))

spark.sql("select avgSalary(salary) from user").show()

// 关闭连接

spark.stop()

相关推荐
今日热点7 小时前
小程序主体变更全攻略:流程、资料与异常处理方案
经验分享·微信·小程序·企业微信·微信公众平台·微信开放平台
半导体守望者14 小时前
ADVANTEST R4131 SPECTRUM ANALYZER 光谱分析仪
经验分享·笔记·功能测试·自动化·制造
魂兮归乡17 小时前
B2、进度汇报(— 25/06/16)
经验分享·spring boot·ai·vue·团队开发·课程设计·web app
quant_19861 天前
R语言如何接入实时行情接口
开发语言·经验分享·笔记·python·websocket·金融·r语言
赵谨言1 天前
基于物联网的智能家居控制系统设计与实现
经验分享·毕业设计
ONETHING_CLOUD_22 天前
手机能用酒精擦吗?
经验分享·科技·智能手机·数码·实用技巧分享
IT摆渡者2 天前
网络安全护网实战:攻击手段解析与防御策略
运维·网络·经验分享
大刘讲IT2 天前
精益管理与数字化转型的融合:中小制造企业降本增效的双重引擎
经验分享·程序人生·制造·传媒·零售·交通物流
java攻城狮k3 天前
【跟着PMP学习项目管理】项目管理 之 成本管理知识点
经验分享·笔记·学习·产品经理