2023_Spark_实验七:Scala函数式编程部分演示

1、Scala中的函数

在Scala中,函数是"头等公民",就和数字一样。可以在变量中存放函数,即:将函数作为变量的值(值函数)。

Scala 复制代码
def myFun1(name:String):String="Hello " + name

println(myFun1("Tom"))



def myFun2():String = "Hello World"



//值函数:将函数作为变量的值

val v1 = myFun1("Tom")

val v2 = myFun2()

//再将v1 付给myFun1(v1)

println(myFun1(v1))

2、匿名函数

Scala 复制代码
//匿名函数

(x:Int) => x*3

//例子:(1,2,3)---》(3,6,9)

Array(1,2,3).map((x:Int) => x*3)

//由于map方法接收一个函数参数,我就就可以把上面的匿名函数作为参数传递给map方法

3、带函数参数的函数,即:高阶函数

示例1:

(*)首先,定义一个最普通的函数

(*)再定义一个高阶函数

(*)分析这个高阶函数调用的过程

Scala 复制代码
//定义一个最普通的函数

def fun1(name:String):String = "Hello "+ name



import scala.math._

//定义高阶函数:带有函数参数的函数

def someAction(f:(Double) => Double) =f(10)

//测试

someAction(sqrt)

示例2:

Scala 复制代码
//另外一个例子

def mytest(x:Int,y:Int) :Int ={x*y + 100}



//定义一个高阶函数



def myFunction(f:(Int,Int) =>Int,x:Int,y:Int) = f(x,y)

//测试

myFunction(mytest,1,2)

在这个例子中,首先定义了一个普通的函数mytest,然后定义了一个高阶函数myFunction;myFunction接收三个参数:第

一个f是一个函数参数,第二个是x,第三个是y。而f是一个函数参数,本身接收两个Int的参数,返回一个Int的值。

4、闭包

就是函数的嵌套,即:在一个函数定义中,包含另外一个函数的定义;并且在内函数中可以访问外函数中的变量。

测试上面的函数:

Scala 复制代码
def mulBy(factor:Double)=(x:Double)=>x*factor

//变量

val triple = mulBy(3) //表示乘以3倍的操作

val half = mulBy(0.5) //表示除以2倍的操作



//调用



println(triple(10)+ " " + half(8))

5、柯里化:Currying

柯里化函数(Curried Function)是把具有多个参数的函数转换为一条函数链,每个节点上是单一参数。

一个简单的例子:

Scala 复制代码
//柯里化

//一个普通的函数

def mulByOneTime(x:Int,y:Int) = x + y



//柯里化函数



def mulByOneTime1(x:Int) =(y:Int) =>x * y



//简写的方式

def mulByOneTime2(x:Int)(y:Int)= x * y

//测试

mulByOneTime(6,7)

mulByOneTime1(6)(7)

mulByOneTime2(6)(7)

6、高阶函数示例

示例1:

Scala 复制代码
//map

//在列表中的每个元素上计算一个函数,并且返回一个包含相同数目元素的列表

val numbers = List(1,2,3,4,5,6,7,8,9,10)

numbers.map((i:Int)=>i*2)

示例2:

Scala 复制代码
//foreach

//foreach 和 map 相似 ,只不过它没有返回值,foreach只要是为了对参数进行作用

val numbers = List(1,2,3,4,5,6,7,8,9,10)

numbers.foreach((i:Int)=>i*2)

示例3:

Scala 复制代码
//filter

//移除任何使得传入的函数返回false的元素

val numbers = List(1,2,3,4,5,6,7,8,9,10)

numbers.filter((i:Int) => i%2==0)

示例4

Scala 复制代码
//zip

//zip把两个列表的元素合成一个由元素对组成的列表里

List(1,2,3).zip(List(4,5,6,7))

示例5:

Scala 复制代码
//partition

//partition根据断言函数的返回值对列表进行拆分

val numbers = List(1,2,3,4,5,6,7,8,9,10)

numbers.partition((i:Int) =>i%2==0)

在这个例子中,可以被2整除的被分到一个分区;不能被2整除的被分到另一个分区。

示例6:

Scala 复制代码
//find

//find返回集合里第一个匹配断言函数的元素

val numbers = List(1,2,3,4,5,6,7,8,9,10)

numbers.find(_ % 3 ==0)

示例7:

Scala 复制代码
//flatten

//flatten可以把嵌套的结构展开

List(List(1,2,3),List(4,5,6)).flatten

示例8:

Scala 复制代码
//flatMap

//flatMap 是一个常用的combinator,它结合了map 和 flatten的功能

val myList = List(List(1,2,3),List(4,5,6))

myList.flatMap(x => x.map(_ * 2))

在这个例子中,分为两步:

  1. 将(1,2,3)和(4,5,6)这两个集合合并成一个集合

  2. 再对每个元素乘以2

相关推荐
在未来等你2 小时前
Elasticsearch面试精讲 Day 17:查询性能调优实践
大数据·分布式·elasticsearch·搜索引擎·面试
大数据CLUB5 小时前
基于spark的澳洲光伏发电站选址预测
大数据·hadoop·分布式·数据分析·spark·数据开发
ratbag6720135 小时前
当环保遇上大数据:生态环境大数据技术专业的课程侧重哪些领域?
大数据
计算机编程小央姐7 小时前
跟上大数据时代步伐:食物营养数据可视化分析系统技术前沿解析
大数据·hadoop·信息可视化·spark·django·课程设计·食物
智数研析社8 小时前
9120 部 TMDb 高分电影数据集 | 7 列全维度指标 (评分 / 热度 / 剧情)+API 权威源 | 电影趋势分析 / 推荐系统 / NLP 建模用
大数据·人工智能·python·深度学习·数据分析·数据集·数据清洗
潘达斯奈基~8 小时前
《大数据之路1》笔记2:数据模型
大数据·笔记
寻星探路8 小时前
数据库造神计划第六天---增删改查(CRUD)(2)
java·大数据·数据库
翰林小院10 小时前
【大数据专栏】流式处理框架-Apache Fink
大数据·flink
孟意昶11 小时前
Spark专题-第一部分:Spark 核心概述(2)-Spark 应用核心组件剖析
大数据·spark·big data
IT学长编程12 小时前
计算机毕业设计 基于Hadoop的健康饮食推荐系统的设计与实现 Java 大数据毕业设计 Hadoop毕业设计选题【附源码+文档报告+安装调试】
java·大数据·hadoop·毕业设计·课程设计·推荐算法·毕业论文