spark-core

RDD行动算子:行动算子就是会触发action的算子,触发action的含义就是真正的计算数据。

reduce ➢

函数说明聚集 RDD 中的所有元素,先聚合分区内数据,再聚合分区间数据。

collect➢

函数签名def collect(): ArrayT➢ 函数说明在驱动程序中,以数组 Array 的形式返回数据集的所有元素

  1. foreach➢ 函数签名def foreach(f: T => Unit): Unit = withScope { val cleanF = sc.clean(f) sc.runJob(this, (iter: IteratorT) => iter.foreach(cleanF))}➢ 函数说明分布式遍历 RDD 中的每一个元素,调用指定函数

  2. count➢ 函数签名def count(): Long➢ 函数说明返回 RDD 中元素的个数

  3. first➢ 函数签名def first(): T➢ 函数说明返回 RDD 中的第一个元素

  4. take➢ 函数签名def take(num: Int): ArrayT➢ 函数说明返回一个由 RDD 的前 n 个元素组成的数组

  5. takeOrdered➢ 函数签名def takeOrdered(num: Int)(implicit ord: OrderingT): ArrayT➢ 函数说明返回该 RDD 排序后的前 n 个元素组成的数组

相关推荐
计算机毕业编程指导师20 小时前
【大数据毕设选题推荐】基于Spark的WTA职业网球赛事演变与竞技格局分析系统源码 毕业设计 选题推荐 毕设选题 数据分析 机器学习 深度学习
大数据·python·计算机·spark·毕业设计·课程设计·wta网球
计算机毕业编程指导师1 天前
【计算机毕设选题推荐】基于Spark与Hadoop的AI就业收入区域差异分析系统 源码 毕业设计 选题推荐 毕设选题 数据分析 机器学习 深度学习
大数据·python·数据分析·spark·毕业设计·课程设计·ai就业收入
计算机毕业编程指导师1 天前
【大数据毕设选题】基于Spark的电信网络诈骗话术语义特征挖掘分析系统源码 毕业设计 选题推荐 数据分析 机器学习 深度学习
大数据·hadoop·python·spark·毕业设计·课程设计·网络诈骗
计算机毕业编程指导师1 天前
计算机大数据毕设怎么选?基于Spark的个体肥胖健康风险评估的数据分析与可视化系统带你通关 源码 毕业设计 选题推荐 毕设选题 数据分析 机器学习
大数据·hadoop·python·计算机·spark·毕业设计·肥胖风险
IT研究室1 天前
最新大数据毕业设计选题推荐-基于大数据的单位招聘岗位信息分析与可视化-大数据-Spark-Hadoop-Bigdata
大数据·spark·课程设计
计算机毕业编程指导师1 天前
计算机毕设答辩技巧:基于Hadoop+Django的公共交通运营数据分析与可视化系统怎么做 源码 毕业设计 选题推荐 毕设选题 数据分析 机器学习
大数据·hadoop·python·spark·毕业设计·课程设计·交通运行
计算机毕业编程指导师1 天前
【计算机毕设选题推荐】基于Hadoop+Django高频电力消耗大数据分析系统从0到1 源码 毕业设计 选题推荐 毕设选题 数据分析 机器学习
hadoop·python·数据分析·spark·毕业设计·课程设计·电力
FYKJ_20101 天前
springboot手工蜀绣在线销售系统60947-计算机课程设计、毕业设计
java·spring boot·后端·python·mysql·spark·课程设计
计算机毕业编程指导师1 天前
【计算机毕设选题推荐】基于Spark的多源影视数据整合质量评估与可视化分析系统全解析 源码 毕业设计 选题推荐 毕设选题 数据分析 机器学习
大数据·hadoop·python·计算机·数据分析·spark·影视
计算机源码社2 天前
基于Spark的租房数据挖掘与可视化平台构建研究 基于K-Means与PCA的租房价值洞察与可视化分析
大数据·hadoop·数据挖掘·spark·毕业设计·kmeans·课程设计