RDD触发算子的使用

count

"""
返回值int
获取总条数
"""

take

"""
返回前几条的数据
在driver的内存中存放------------只能少量 也就是说最终会放到同一个分区中
不会自动打印
"""

foreach

"""
遍历每一条数据------打印

foreach 会对每个分区内的元素进行并行处理
结果的顺序可能每次都不一样,输出的具体顺序是不可预测的
要想真正排序 ,要么将分区减为1 要么collect
"""

saveAsTextFile

"""
将数据保存在外部文件(hdfs)中
生成的文件和分区数有关

"""

collect

"""
收集数据------将RDD转化成一个列表返回

这个RDD的数据一定不能过大,如果RDD数据量很大,导致Driver内存溢出
"""

first

"""
获取RDD中的第一个值

"""

reduce

"""
将RDD中的每个元素按照给定的聚合函数进行聚合,返回聚合的结果
类似sum()
"""

top

"""
获取RDD中的最大的几个
会自动排序 ,可以指定排序规则
相当于 sortBy+take
"""
# 按照某一列进行排序
.top(10, lambda a: a[1])

不写的话 应该是按照key 值进行排序

takeOrdered

"""
获取RDD中的最小的几个
自带排序 
"""

max

其中max和top均可以返回最大值,那么区别是什么

max:

1、只返回数据集中指定列或RDD中的最大值,即单一的最大元素。

2、并不对数据进行排序,通过分布式的计算方式查找数据集中的最大值

top

1、返回数据集中的前几个最大值,可以指定返回的数量。即使只需要一个最大值,也会以列表的形式返回。

2、对数据集进行局部排序,然后返回指定数量的最大值,因此在一定程度上会影响性能(特别是在数据量较大时)。top 方法默认返回结果是降序排列的。

"""
获取最大值
触发算子
"""
rsRdd.max(lambda tupleA: tupleA[1])

min

"""
获取最小值
触发算子
"""
rsRdd.min(lambda tupleA: tupleA[1])

mean

"""
获取平均值
触发算子
"""
rsRdd.mean(lambda tupleA: tupleA[1])
相关推荐
打工人你好14 分钟前
iOS 逆向学习 - Inter-Process Communication:进程间通信
学习·ios
羊小猪~~30 分钟前
数据结构C语言描述11(图文结合)--二叉搜索树(BST树)的实现(数据采用KV存储形式进行封装)
c语言·开发语言·数据结构·c++·学习·考研·算法
老大白菜30 分钟前
正则表达式完全指南
python
西猫雷婶1 小时前
python学opencv|读取图像(三十一)缩放图像的三种方法
开发语言·python·opencv
处女座_三月1 小时前
多并发发短信处理(头条项目-07)
java·前端·数据库·python
&白帝&1 小时前
Java 方法
java·开发语言·python
金智维科技官方1 小时前
财务自动化管理系统有哪些?
大数据·人工智能·自动化
唐山柳林1 小时前
灌区闸门自动化控制系统-精准渠道量测水-灌区现代化建设
大数据·运维·科技·物联网·自动化
zhangfeng11331 小时前
Selenium python爬虫 是否需要设置浏览器窗口大小 ,有些按钮显示 不全会导致无法正常与这些元素进行交互
爬虫·python·selenium
青い月の魔女1 小时前
数据结构初阶---排序
开发语言·数据结构·笔记·学习·算法·排序算法