spark-core

RDD行动算子:行动算子就是会触发action的算子,触发action的含义就是真正的计算数据。

reduce ➢

函数说明聚集 RDD 中的所有元素,先聚合分区内数据,再聚合分区间数据。

collect➢

函数签名def collect(): Array[T]➢ 函数说明在驱动程序中,以数组 Array 的形式返回数据集的所有元素

  1. foreach➢ 函数签名def foreach(f: T => Unit): Unit = withScope { val cleanF = sc.clean(f) sc.runJob(this, (iter: Iterator[T]) => iter.foreach(cleanF))}➢ 函数说明分布式遍历 RDD 中的每一个元素,调用指定函数

  2. count➢ 函数签名def count(): Long➢ 函数说明返回 RDD 中元素的个数

  3. first➢ 函数签名def first(): T➢ 函数说明返回 RDD 中的第一个元素

  4. take➢ 函数签名def take(num: Int): Array[T]➢ 函数说明返回一个由 RDD 的前 n 个元素组成的数组

  5. takeOrdered➢ 函数签名def takeOrdered(num: Int)(implicit ord: Ordering[T]): Array[T]➢ 函数说明返回该 RDD 排序后的前 n 个元素组成的数组

相关推荐
华农DrLai15 小时前
Spark SQL Catalyst 优化器详解
大数据·hive·sql·flink·spark
uesowys1 天前
Apache Spark算法开发指导-One-vs-Rest classifier
人工智能·算法·spark
鹏说大数据1 天前
Spark 和 Hive 的关系与区别
大数据·hive·spark
B站计算机毕业设计超人1 天前
计算机毕业设计Hadoop+Spark+Hive招聘推荐系统 招聘大数据分析 大数据毕业设计(源码+文档+PPT+ 讲解)
大数据·hive·hadoop·python·spark·毕业设计·课程设计
B站计算机毕业设计超人1 天前
计算机毕业设计hadoop+spark+hive交通拥堵预测 交通流量预测 智慧城市交通大数据 交通客流量分析(源码+LW文档+PPT+讲解视频)
大数据·hive·hadoop·python·spark·毕业设计·课程设计
Lansonli2 天前
大数据Spark(八十):Action行动算子fold和aggregate使用案例
大数据·分布式·spark
鸿乃江边鸟3 天前
Spark Datafusion Comet 向量化Rust Native--CometShuffleExchangeExec怎么控制读写
大数据·rust·spark·native
伟大的大威4 天前
NVIDIA DGX Spark (ARM64/Blackwell) Kubernetes 集群 + GPU Operator 完整部署指南
大数据·spark·kubernetes
小邓睡不饱耶4 天前
深度实战:Spark GraphX构建用户信任网络,精准锁定高价值目标用户(含完整案例)
大数据·spark·php
B站计算机毕业设计超人4 天前
计算机毕业设计hadoop+spark+hive共享单车预测系统 共享单车数据可视化分析 大数据毕业设计(源码+LW文档+PPT+讲解)
大数据·hadoop·python·深度学习·spark·毕业设计·课程设计