Spark---补充算子

一、Spark补充Transformation算子

1、join,leftOuterJoin,rightOuterJoin,fullOuterJoin

作用在K,V格式的RDD上。根据K进行连接,对(K,V)join(K,W)返回(K,(V,W))

  • join后的分区数与父RDD分区数多的那一个相同。

2、union

合并两个数据集。两个数据集的类型要一致。

  • 返回新的RDD的分区数是合并RDD分区数的总和。

3、intersection

取两个数据集的交集,返回新的RDD与父RDD分区多的一致

4、substract

取两个数据集的差集,结果RDD的分区数与substract前面的RDD的分区数一致。

5、mapPartitions

与map类似,遍历的单位是每个partition上的数据。

6、distinct(map+reduceByKey+map)

7、cogroup

当调用类型(K,V)和(K,W)的数据上时,返回一个数据集(K,(Iterable<V>,Iterable<W>)),子RDD的分区与父RDD多的一致。

二、Spark补充Action算子

1、foreachPartition

遍历的数据是每个partition的数据。

2、collectAsMap

对K,V格式的RDD数据回收转换成Map<K,V>

3、takeSample(boolean,num,seed)

takeSample可以对RDD中的数据随机获取num个,第一个参数是有无放回,第二个参数是随机获取几个元素,第三个参数如果固定,那么每次获取的数据固定。

4、top(num)

对RDD中的所有元素进行由大到小排序,获取前num个元素返回。

5、takeOrdered(num)

对RDD中的所有元素进行由小到大的排序,获取前num个元素返回。

相关推荐
ha_lydms3 分钟前
HDFS 简介
大数据·hadoop·hdfs·yarn·调度·aliyun·计算
oort12311 分钟前
OortCloud Token Plan
大数据·人工智能·开源
Sky1987star23 分钟前
产品资料更新后,怎样让 AI 内容与客服同步生效?
大数据·人工智能
flyinsono27 分钟前
单体宠物诊所数字化转型,选对管理系统少走弯路
大数据·人工智能·宠物
cxr82827 分钟前
AI时代科学研究思维框架的适应性分析与检查清单构建
大数据·人工智能·认知框架
大大大大晴天32 分钟前
每天认识一个组件:统一 Shuffle 引擎Apache Uniffle
大数据
晶捷软件1 小时前
晶捷智能:集团型制造企业ERP如何实现多工厂统一管控
大数据·人工智能·python·制造
小岐AI观1 小时前
智赋岐黄能否嵌入机构现有业务体系?
大数据·人工智能·四诊仪·智赋岐黄·中医ai
和裕1 小时前
光伏储能定制加强型瓦楞纸箱:降低组件运输隐裂率与售后损耗的核心价值
大数据·运维·网络·人工智能·算法
4SAPI2 小时前
GPT-6 Astra 发布:AGI 时代是否到来,或许不是当前最重要的问题
大数据·人工智能·gpt·agi