2023_Spark_实验七:Scala函数式编程部分演示

1、Scala中的函数

在Scala中,函数是"头等公民",就和数字一样。可以在变量中存放函数,即:将函数作为变量的值(值函数)。

Scala 复制代码
def myFun1(name:String):String="Hello " + name

println(myFun1("Tom"))



def myFun2():String = "Hello World"



//值函数:将函数作为变量的值

val v1 = myFun1("Tom")

val v2 = myFun2()

//再将v1 付给myFun1(v1)

println(myFun1(v1))

2、匿名函数

Scala 复制代码
//匿名函数

(x:Int) => x*3

//例子:(1,2,3)---》(3,6,9)

Array(1,2,3).map((x:Int) => x*3)

//由于map方法接收一个函数参数,我就就可以把上面的匿名函数作为参数传递给map方法

3、带函数参数的函数,即:高阶函数

示例1:

(*)首先,定义一个最普通的函数

(*)再定义一个高阶函数

(*)分析这个高阶函数调用的过程

Scala 复制代码
//定义一个最普通的函数

def fun1(name:String):String = "Hello "+ name



import scala.math._

//定义高阶函数:带有函数参数的函数

def someAction(f:(Double) => Double) =f(10)

//测试

someAction(sqrt)

示例2:

Scala 复制代码
//另外一个例子

def mytest(x:Int,y:Int) :Int ={x*y + 100}



//定义一个高阶函数



def myFunction(f:(Int,Int) =>Int,x:Int,y:Int) = f(x,y)

//测试

myFunction(mytest,1,2)

在这个例子中,首先定义了一个普通的函数mytest,然后定义了一个高阶函数myFunction;myFunction接收三个参数:第

一个f是一个函数参数,第二个是x,第三个是y。而f是一个函数参数,本身接收两个Int的参数,返回一个Int的值。

4、闭包

就是函数的嵌套,即:在一个函数定义中,包含另外一个函数的定义;并且在内函数中可以访问外函数中的变量。

测试上面的函数:

Scala 复制代码
def mulBy(factor:Double)=(x:Double)=>x*factor

//变量

val triple = mulBy(3) //表示乘以3倍的操作

val half = mulBy(0.5) //表示除以2倍的操作



//调用



println(triple(10)+ " " + half(8))

5、柯里化:Currying

柯里化函数(Curried Function)是把具有多个参数的函数转换为一条函数链,每个节点上是单一参数。

一个简单的例子:

Scala 复制代码
//柯里化

//一个普通的函数

def mulByOneTime(x:Int,y:Int) = x + y



//柯里化函数



def mulByOneTime1(x:Int) =(y:Int) =>x * y



//简写的方式

def mulByOneTime2(x:Int)(y:Int)= x * y

//测试

mulByOneTime(6,7)

mulByOneTime1(6)(7)

mulByOneTime2(6)(7)

6、高阶函数示例

示例1:

Scala 复制代码
//map

//在列表中的每个元素上计算一个函数,并且返回一个包含相同数目元素的列表

val numbers = List(1,2,3,4,5,6,7,8,9,10)

numbers.map((i:Int)=>i*2)

示例2:

Scala 复制代码
//foreach

//foreach 和 map 相似 ,只不过它没有返回值,foreach只要是为了对参数进行作用

val numbers = List(1,2,3,4,5,6,7,8,9,10)

numbers.foreach((i:Int)=>i*2)

示例3:

Scala 复制代码
//filter

//移除任何使得传入的函数返回false的元素

val numbers = List(1,2,3,4,5,6,7,8,9,10)

numbers.filter((i:Int) => i%2==0)

示例4

Scala 复制代码
//zip

//zip把两个列表的元素合成一个由元素对组成的列表里

List(1,2,3).zip(List(4,5,6,7))

示例5:

Scala 复制代码
//partition

//partition根据断言函数的返回值对列表进行拆分

val numbers = List(1,2,3,4,5,6,7,8,9,10)

numbers.partition((i:Int) =>i%2==0)

在这个例子中,可以被2整除的被分到一个分区;不能被2整除的被分到另一个分区。

示例6:

Scala 复制代码
//find

//find返回集合里第一个匹配断言函数的元素

val numbers = List(1,2,3,4,5,6,7,8,9,10)

numbers.find(_ % 3 ==0)

示例7:

Scala 复制代码
//flatten

//flatten可以把嵌套的结构展开

List(List(1,2,3),List(4,5,6)).flatten

示例8:

Scala 复制代码
//flatMap

//flatMap 是一个常用的combinator,它结合了map 和 flatten的功能

val myList = List(List(1,2,3),List(4,5,6))

myList.flatMap(x => x.map(_ * 2))

在这个例子中,分为两步:

  1. 将(1,2,3)和(4,5,6)这两个集合合并成一个集合

  2. 再对每个元素乘以2

相关推荐
字节跳动数据平台19 小时前
代码量减少 70%、GPU 利用率达 95%:火山引擎多模态数据湖如何释放模思智能的算法生产力
大数据
得物技术21 小时前
深入剖析Spark UI界面:参数与界面详解|得物技术
大数据·后端·spark
武子康1 天前
大数据-238 离线数仓 - 广告业务 Hive分析实战:ADS 点击率、购买率与 Top100 排名避坑
大数据·后端·apache hive
武子康2 天前
大数据-237 离线数仓 - Hive 广告业务实战:ODS→DWD 事件解析、广告明细与转化分析落地
大数据·后端·apache hive
大大大大晴天2 天前
Flink生产问题排障-Kryo serializer scala extensions are not available
大数据·flink
武子康4 天前
大数据-236 离线数仓 - 会员指标验证、DataX 导出与广告业务 ODS/DWD/ADS 全流程
大数据·后端·apache hive
肌肉娃子5 天前
20260227.spark.Spark 性能刺客:千万别在 for 循环里写 withColumn
spark
武子康5 天前
大数据-235 离线数仓 - 实战:Flume+HDFS+Hive 搭建 ODS/DWD/DWS/ADS 会员分析链路
大数据·后端·apache hive
DianSan_ERP6 天前
电商API接口全链路监控:构建坚不可摧的线上运维防线
大数据·运维·网络·人工智能·git·servlet
够快云库6 天前
能源行业非结构化数据治理实战:从数据沼泽到智能资产
大数据·人工智能·机器学习·企业文件安全