RDD触发算子的使用

count

复制代码
"""
返回值int
获取总条数
"""

take

复制代码
"""
返回前几条的数据
在driver的内存中存放------------只能少量 也就是说最终会放到同一个分区中
不会自动打印
"""

foreach

复制代码
"""
遍历每一条数据------打印

foreach 会对每个分区内的元素进行并行处理
结果的顺序可能每次都不一样,输出的具体顺序是不可预测的
要想真正排序 ,要么将分区减为1 要么collect
"""

saveAsTextFile

复制代码
"""
将数据保存在外部文件(hdfs)中
生成的文件和分区数有关

"""

collect

复制代码
"""
收集数据------将RDD转化成一个列表返回

这个RDD的数据一定不能过大,如果RDD数据量很大,导致Driver内存溢出
"""

first

复制代码
"""
获取RDD中的第一个值

"""

reduce

复制代码
"""
将RDD中的每个元素按照给定的聚合函数进行聚合,返回聚合的结果
类似sum()
"""

top

复制代码
"""
获取RDD中的最大的几个
会自动排序 ,可以指定排序规则
相当于 sortBy+take
"""
# 按照某一列进行排序
.top(10, lambda a: a[1])

不写的话 应该是按照key 值进行排序

takeOrdered

复制代码
"""
获取RDD中的最小的几个
自带排序 
"""

max

其中max和top均可以返回最大值,那么区别是什么

max:

1、只返回数据集中指定列或RDD中的最大值,即单一的最大元素。

2、并不对数据进行排序,通过分布式的计算方式查找数据集中的最大值

top

1、返回数据集中的前几个最大值,可以指定返回的数量。即使只需要一个最大值,也会以列表的形式返回。

2、对数据集进行局部排序,然后返回指定数量的最大值,因此在一定程度上会影响性能(特别是在数据量较大时)。top 方法默认返回结果是降序排列的。

复制代码
"""
获取最大值
触发算子
"""
rsRdd.max(lambda tupleA: tupleA[1])

min

复制代码
"""
获取最小值
触发算子
"""
rsRdd.min(lambda tupleA: tupleA[1])

mean

复制代码
"""
获取平均值
触发算子
"""
rsRdd.mean(lambda tupleA: tupleA[1])
相关推荐
Absurd58714 小时前
JavaScript中模块化在游戏引擎开发中的资源调度作用
jvm·数据库·python
YMY哈15 小时前
Spark 4.0 重磅升级:湖仓处理性能再突破
大数据
2301_8152795215 小时前
SQL如何利用聚合函数生成业务分析指标_KPI计算基础教程
jvm·数据库·python
小江的记录本15 小时前
【分布式】分布式核心组件——分布式锁:Redis/ZooKeeper/etcd 实现方案(附全方位对比表)、优缺点、Redlock、时钟回拨问题
java·网络·redis·分布式·后端·zookeeper·架构
qq_3300379915 小时前
mysql如何排查Out of memory错误_mysql内存分配调优
jvm·数据库·python
好家伙VCC15 小时前
**发散创新:用Rust实现基于RAFT共识算法的轻量级分布式日志系统**在分布式系统中,**一致性协议**是保障数据可靠
java·分布式·python·rust·共识算法
小江的记录本15 小时前
【分布式】分布式核心组件——分布式ID生成:雪花算法、号段模式、美团Leaf、百度UidGenerator、时钟回拨解决方案
分布式·后端·算法·缓存·性能优化·架构·系统架构
南棱笑笑生16 小时前
20260420给万象奥科的开发板HD-RK3576-PI适配瑞芯微原厂的Buildroot时调通AP6256并实测网速109Mbits/sec
大数据·elasticsearch·搜索引擎·rockchip
weixin_4585801216 小时前
如何在 Go 中直接将 AST 编译为可执行二进制文件?
jvm·数据库·python
Elastic 中国社区官方博客21 小时前
Elasticsearch:使用 Agent Builder 的 A2A 实现 - 开发者的圣诞颂歌
大数据·数据库·人工智能·elasticsearch·搜索引擎·ai·全文检索