(PySpark)RDD实验实战——取最大数出现的次数

复制代码
实验环境:
提前准备好findspark,pyspark,py4j等库
复制代码
import findspark
from pyspark import SparkContext, SparkConf

findspark.init()
复制代码
#初始化spark,默认为你所设定的环境变量
复制代码
conf = SparkConf().setAppName("jsytest").setMaster("local[4]")

#创建一个SparkConf对象,用于配置Spark应用程序,用setAppName来设置程序名称,

#用setMaster来设置运行模式和线程数,这里为本地模式,4个线程

复制代码
sc = SparkContext(conf=conf)
复制代码
#创建一个SparkContext对象,它是与Spark集群通信的主要接口
# sc.stop()  #关闭spark上下文
复制代码
data = [(4),(7),(9),(12),(9),(15),(18),(12),(20),(12)]
复制代码
#创建所需的数据集
复制代码
rdd = sc.parallelize(data)
复制代码
#用parallelize方法将data中的数据结构并行化成RDD
复制代码
rdd.sortBy(lambda x:x, ascending=True,numPartitions=1).collect()
复制代码
#rdd.sortBy()用于对RDD中的元素按照指定的排序键进行排序
#rdd.sortBy(keyfunc, ascending=True, numPartitions=None)
#keyfunc,是从 RDD 的每个元素中提取用于排序的键,多分区的话可以通过指定key的排序,来达到操作目的
#ascending表示排序的顺序。 True为升序,False为降序。
#numPartitions表示最终返回结果RDD的分区数。
复制代码
ss=rdd.sortBy(lambda x:x, ascending=True,numPartitions=1).collect()
复制代码
#把最终排序导入ss数组中
复制代码
ysj=rdd.count()-1
复制代码
#取数据总长,方便后面调用,输出
复制代码
b=ss[ysj]
复制代码
#取最大值
复制代码
c=rdd.filter(lambda x:x==b).count()
复制代码
#filter起到的作用是一个过滤器,我们这里用它来过滤data中最大值,并用count来记录最大值出现的次数
复制代码
print("最大值为:",b)
print("出现的次数为:",c)
复制代码
#输出结果

所有代码演示如下

复制代码
import findspark
from pyspark import SparkContext, SparkConf
findspark.init()
conf = SparkConf().setAppName("jsytest").setMaster("local[4]")
sc = SparkContext(conf=conf)
data = [(4),(7),(9),(12),(9),(15),(18),(12),(20),(12)]
rdd = sc.parallelize(data)
rdd.sortBy(lambda x:x, ascending=True,numPartitions=1).collect()
ss=rdd.sortBy(lambda x:x, ascending=True,numPartitions=1).collect()
ysj=rdd.count()-1
b=ss[ysj]
c=rdd.filter(lambda x:x==b).count()
print("最大值为:",b)
print("出现的次数为:",c)

运行结果

复制代码
最大值为: 20
出现的次数为: 1
相关推荐
afumu9 分钟前
免费 API 满地都是,为什么还有人做「让网页 AI 干活」这种东西
javascript·chrome·浏览器
云起SAAS15 分钟前
本地生活同城多商户商城系统源码源码 合伙人分红加区域代理加排队返现
前端·javascript·后端
山楂树の42 分钟前
Java 字符串高效处理:StringBuilder、StringBuffer、StringJoiner
java·开发语言
鹿鹿鹿鹿isNotDefined1 小时前
布局更新后,canvas 重新绘制,出现了只持续一帧的闪烁?!
前端·javascript·vue.js
技术分享官1 小时前
Geejing WebBuilder 新手指导:用 Wb.Button 按钮组件跑通企业级快速开发平台的前后端闭环
前端·javascript·低代码
.痞老板.2 小时前
java ee--文件操作和IO
java·java-ee
简 洁 冬冬2 小时前
分页「向上取整」公式 `(total + size - 1) / size` 的完整推导
java·分页
装不满的克莱因瓶4 小时前
【从零搭建】AI大模型之ReactAgent智能体对接MCP实战
java·人工智能·ai·springai·mcp·springaialibaba
程序员大阳5 小时前
副队长ES6+教程(5)--模板字符串
javascript·vue.js·es6·模板字符串
SimonKing5 小时前
AI Assistant被"隐藏"了?别慌,IDEA 2026.3 这波是换了个脑子
java·后端·程序员