文章目录
- 1.行动算子
-
-
- [1.1 reduce](#1.1 reduce)
- [1.2 collect](#1.2 collect)
- [1.3 first](#1.3 first)
- [1.4 count](#1.4 count)
- [1.5 take](#1.5 take)
- [1.6 takeOrdered](#1.6 takeOrdered)
- [1.7 aggregate](#1.7 aggregate)
- [1.8 fold](#1.8 fold)
- [1.9 countByKey](#1.9 countByKey)
- [1.10 countByValue](#1.10 countByValue)
- [1.11 save 相关算子](#1.11 save 相关算子)
- [1.12 foreach](#1.12 foreach)
-
1.行动算子
Spark的行动算子是触发作业执行的方法，它们会直接触发计算并返回结果。
行动算子可以分为两类：数据运算类和数据存储类。数据运算类算子主要用于触发RDD计算，并得到计算结果返回给Spark程序或Shell界面，例如reduce()函数。数据存储类算子用于触发RDD计算后，将结果保存到外部存储系统中，如HDFS文件系统或数据库，例如saveAsObjectFile()函数。
在Spark中，转换算子并不会马上进行运算，而是所谓的"惰性运算"，在遇到行动算子时才会执行相应的语句，触发Spark的任务调度并开始进行计算。行动算子可以直接对RDD进行操作，并且返回一个值或者将结果保存到外部存储系统。
1.1 reduce
聚集 RDD 中的所有元素，先聚合分区内数据，再聚合分区间数据
函数定义：
def reduce(f: (T, T) => T): T
val data: RDD[Int] = sparkRdd.makeRDD(List(1, 2, 3, 4))
val res:Int = data.reduce((x, y) => x + y)
println(res)
1.2 collect
在驱动程序中，以数组 Array 的形式返回数据集的所有元素
函数定义：
def collect(): Array[T]
val rdd: RDD[Int] = sc.makeRDD(List(1,2,3,4))
// 返回 RDD 中元素的个数
val countResult: Long = rdd.count()
1.3 first
返回 RDD 中的第一个元素
函数定义：
def first(): T
val rdd: RDD[Int] = sc.makeRDD(List(1,2,3,4))
// 返回 RDD 中元素的个数
val firstResult: Int = rdd.first()
println(firstResult)
1.4 count
返回 RDD 中元素的个数
函数定义：
def count(): Long
val data: RDD[Int] = sparkRdd.makeRDD(List(1, 2, 3, 4))
val res: Long = data.count()
println(res)
1.5 take
返回一个由 RDD 的前 n 个元素组成的数组
函数定义：
def take(num: Int): Array[T]
val data: RDD[Int] = sparkRdd.makeRDD(List(1, 2, 3, 4))
val res: Array[Int] = data.take(2)
res.foreach(println)
1.6 takeOrdered
返回该 RDD 排序后的前 n 个元素组成的数组
函数定义：
def takeOrdered(num: Int)(implicit ord: Ordering[T]): Array[T]
val data: RDD[Int] = sparkRdd.makeRDD(List(1,4,3,2))
val res: Array[Int] = data.takeOrdered(2)
res.foreach(println)
1.7 aggregate
分区的数据通过初始值和分区内的数据进行聚合，然后再和初始值进行分区间的数据聚合
函数定义：
def aggregate[U: ClassTag](zeroValue: U)(seqOp: (U, T) => U, combOp: (U, U) => U): U
val data: RDD[Int] = sparkRdd.makeRDD(List(1,4,3,2))
val res: Int =data.aggregate(0)(_+_,_+_)
println(res)
注意：aggregate在使用的时候与aggregateByKey的区别在于：aggregate设置的初始值不仅会与分区内的第一个元素相加，而且还会与分区间的第一个元素相加。
aggregateByKey设置的初始值只会与分区内的第一个元素相减加。
1.8 fold
折叠操作，aggregate 的简化版操作
函数签名
def fold(zeroValue: T)(op: (T, T) => T): T
val data: RDD[Int] = sparkRdd.makeRDD(List(1,4,3,2))
val res: Int =data.fold(0)(_+_)
println(res)
1.9 countByKey
统计每种 key 的个数
函数签名
def countByKey(): Map[K, Long]
val data:RDD[(String,Int)]= sparkRdd.makeRDD(List(("a",1),("a",2),("a",3),("b",4),("c",5),("c",6)))
val res: collection.Map[String, Long] =data.countByKey()
res.foreach(println)
1.10 countByValue
countByValue用于统计RDD中每个元素的出现次数。这个方法返回一个Map，其中键是RDD中的元素，值是每个元素在RDD中出现的次数。
val data:RDD[(String,Int)]= sparkRdd.makeRDD(List(("a",1),("a",2),("a",3),("b",4),("c",5),("c",6)))
val res=data.countByValue()
res.foreach(println)
1.11 save 相关算子
函数定义：
def saveAsTextFile(path: String): Unit
def saveAsObjectFile(path: String): Unit
def saveAsSequenceFile(
path: String,
codec: Option[Class[_ <: CompressionCodec]] = None): Unit
// 保存成 Text 文件
rdd.saveAsTextFile("output")
// 序列化成对象保存到文件
rdd.saveAsObjectFile("output1")
// 保存成 Sequencefile 文件
rdd.map((_,1)).saveAsSequenceFile("output2")
1.12 foreach
分布式遍历 RDD 中的每一个元素，调用指定函数
函数定义：
def foreach(f: T => Unit): Unit = withScope {
val cleanF = sc.clean(f)
sc.runJob(this, (iter: Iterator[T]) => iter.foreach(cleanF))
}
//收集后打印
rdd.map(num=>num).collect().foreach(println)
//分布式打印
rdd.foreach(println)