2023_Spark_实验十:RDD基础算子操作

Ø练习 1:

Scala 复制代码
//通过并行化生成 rdd

val rdd1 = sc.parallelize(List(5, 6, 4, 7, 3, 8, 2, 9, 1, 10))

//对 rdd1 里的每一个元素乘 2 然后排序

val rdd2 = rdd1.map(_ * 2).sortBy(x => x, true)

//过滤出大于等于十的元素

val rdd3 = rdd2.filter(_ >= 10)

//将元素以数组的方式在客户端显示

rdd3.collect

Ø 练习 2:

Scala 复制代码
val rdd1 = sc.parallelize(Array("a b c", "d e f", "h i j"))

//将 rdd1 里面的每一个元素先切分在压平

val rdd2 = rdd1.flatMap(_.split(' '))

rdd2.collect

Ø 练习 3:

Scala 复制代码
val rdd1 = sc.parallelize(List(5, 6, 4, 3))

val rdd2 = sc.parallelize(List(1, 2, 3, 4))

//求并集

val rdd3 = rdd1.union(rdd2)

//求交集

val rdd4 = rdd1.intersection(rdd2)

//去重

rdd3.distinct.collect

rdd4.collect

Ø 练习 4:

Scala 复制代码
val rdd1 = sc.parallelize(List(("tom", 1), ("jerry", 3), ("kitty", 2)))

val rdd2 = sc.parallelize(List(("jerry", 2), ("tom", 1), ("shuke", 2)))

//求 jion

val rdd3 = rdd1.join(rdd2)

rdd3.collect

//求并集

val rdd4 = rdd1 union rdd2

//按 key 进行分组

val rdd5=rdd4.groupByKey

rdd5.collect

Ø 练习 5:

Scala 复制代码
val rdd1 = sc.parallelize(List(("tom", 1), ("tom", 2), ("jerry", 3), ("kitty", 2)))

val rdd2 = sc.parallelize(List(("jerry", 2), ("tom", 1), ("shuke", 2)))

//cogroup

val rdd3 = rdd1.cogroup(rdd2)

//注意 cogroup 与 groupByKey 的区别

groupByKey

groupByKey会将RDDkey,value按照相同的key进行分组,形成RDDkey,iterable\[value]的形式,有点类似于sql中的groupby,例如类似于mysql中的group_contact

cogroup

groupByKey是对单个RDD的数据进行分组,还可以使用一个叫作cogroup()的函数对多个共享同一个键的RDD进行分组

例:RDD1.cogroup(RDD2)会将RDD1和RDD2按照相同的key进行分组,得到(key,RDDkey,Iterable\[value1,Iterablevalue2])的形式

cogroup也可以多个进行分组

例:RDD1.cogroup(RDD2,RDD3,...RDDN),可以得到

(key,Iterablevalue1,Iterablevalue2,Iterablevalue3,...,IterablevalueN)

rdd3.collect

Ø 练习 6:

Scala 复制代码
val rdd1 = sc.parallelize(List(1, 2, 3, 4, 5,6,7,8,9,10))

//reduce 聚合

val rdd2 = rdd1.reduce(_ + _)

//rdd2.collect

Ø 练习 7:

Scala 复制代码
val rdd1 = sc.parallelize(List(("tom", 1), ("jerry", 3), ("kitty", 2), ("shuke", 1)))

val rdd2 = sc.parallelize(List(("jerry", 2), ("tom", 3), ("shuke", 2), ("kitty", 5)))

val rdd3 = rdd1.union(rdd2)

//按 key 进行聚合

val rdd4 = rdd3.reduceByKey(_ + _)

rdd4.collect

//按 value 的降序排序

val rdd5 = rdd4.map(t => (t._2, t._1)).sortByKey(false).map(t => (t._2, t._1))

rdd5.collect
相关推荐
好的佩奇19 小时前
Dart 之可迭代对象与生成器
android·flutter·dart
_祝你今天愉快19 小时前
Paint Cavans高级绘制:[三] Canvas高阶使用技巧-变换,状态保存,离屏缓冲,粒子特效
android
小乖写代码19 小时前
提交注册验证 · WhatsApp /v2/register
android·网络·账号注册
数字新视界1 天前
数据中心DCIM管理系统助力提升机房管理效率与安全性
大数据·人工智能·物联网·信息与通信·动环监控系统
二流小码农1 天前
鸿蒙开发:router组件升级,彻底告别手动配置
android·ios·harmonyos
阿里云大数据AI技术1 天前
孩子王基于阿里云Data Agent的智能体实践:300+Agent 覆盖400+业务场景
大数据·人工智能·agent
Digitally1 天前
如何在安卓设备上使用 4 种简单方法将应用移动到 SD 卡
android
booboosui1 天前
录一遍就会:8 种步骤、6 类失败,卡住时只修那一步
android
阿杰m1 天前
Android源码第十五章:Camera2 与 CameraService——一帧图像怎样回到应用
android
武子康1 天前
H3-World 扩展跳跃与开门:新动作怎样进入训练数据?
大数据·人工智能·算法