Spark,RDD中的行动算子

RDD中的行动算子

collect算子

格式:def collect(): Array[T]

参数说明:该算子没有参数。

并以数组的形式返回

统计个数

reduce算子

格式:def reduce(func: (T, T) => T): T

返回值:返回一个单一的值,其类型与 RDD 中元素的类型相同。

count,聚合操作 eg:计算rdd中的元素之和

foreach算子

格式:def foreach(f: T => Unit): Unit

返回值:该算子的返回类型为 Unit,即不返回任何有意义的值,它主要是为了执行副作用操作。

遍历操作

相关推荐
励志成为糕手9 小时前
Spark Shuffle:分布式计算的数据重分布艺术
大数据·分布式·spark·性能调优·数据倾斜
K_i1349 小时前
GitOps实战:Helm一键部署ArgoCD
大数据·elasticsearch·搜索引擎
三口吃掉你10 小时前
Git分布式版本控制工具
分布式·git
yunmi_10 小时前
分布式文件存储系统FastDFS(入门)
java·分布式·maven·fastdfs
1892280486111 小时前
NX482NX486美光固态闪存NX507NX508
大数据·网络·数据库·人工智能·性能优化
数据与人工智能律师13 小时前
数字人民币钱包抉择:匿名自由与实名安全的法律风险评估
大数据·人工智能·python·云计算·区块链
DashingGuy13 小时前
Spark的Broadcast Join以及其它的Join策略
大数据·spark
海梨花16 小时前
【从零开始学习RabbitMQ】
分布式·学习·rabbitmq
失散1319 小时前
分布式专题——26 BIO、NIO编程与直接内存、零拷贝深入辨析
java·分布式·rpc·架构·nio·零拷贝
计算机编程小央姐19 小时前
大数据工程师认证项目:汽车之家数据分析系统,Hadoop分布式存储+Spark计算引擎
大数据·hadoop·分布式·数据分析·spark·汽车·课程设计