2024.1.4 Spark Core ,RDD ,算子

目录

[一 . RDD(弹性分布式数据集)](#一 . RDD(弹性分布式数据集))

[二 . RDD的五个特性](#二 . RDD的五个特性)

[三 .RDD的五大特点](#三 .RDD的五大特点)

[四 . 算子](#四 . 算子)

[五 . 分区算子 ,重分区算子 , 聚合算子 ,关联算子](#五 . 分区算子 ,重分区算子 , 聚合算子 ,关联算子)

分区算子:

重分区算子

聚合算子

关联算子:


一 . RDD(弹性分布式数据集)

Resilent弹性 Distrbuted分布式 Dataset数据集

  1. rdd是Spark底层的数据结构

  2. Task 在Spark中就是线程

3 . RDD中的一个分区就是一个线程,分区数有多少线程数就有多少 ,set Master local里设置的就是线程

  1. 使用 sc.parallelize(result)构建rdd,他的分区数量是受setMaster的local数影响的,你设置多少个就是多少分区 ; 如果这里写local[*],就会默认分区数是cpu核数 ; 如果在参数里有设置numslices, name就以参数的这个数量为分区数

  2. 使用 sc.textfile构建RDD , 把setMaster 的local[]的值设置大于2的时候,不生效,分区的数量还是2 , 但是调小会生效 ;

在minPartitions里没有设置参数,那么一般就根据公式min(spark.default.parallelism,2)

在参数里设置 minPartitions, 这个参数设置的是最小分区的,所以得出来分区数是大于等于minPartitions设置的数的, 个别情况底层也会有优化,钥匙设置100,可能会出来36, 总之到底是多少没法保证 ;

  1. 使用wholeTextFile 构建RDD, setMaster 的local 数量 ,minPartitions , 文件的具体数量 ,都会影响分区的数量, 当设置了minPartitions的时候,最大的分区数量为 文件的最大数量

查看分区数的命令

data = [1,2,3,4,5,6]

init_rdd = sc.parallelize(data)

print(init_rdd.getNumPartitions())

查看分区数

init_rdd = sc.textFile( 'file:///export/data/2024.1.2_Spark/1.2_day01/content.txt' , minPartitions=10 )

7 .RDD 的分区数据量受到多个因素,例如:机器Cpu的核数 , 调用的算子 , 算子中参数的设置, 集群的类型等 . 实际中一般设置分区数量为cpu核数的两到三倍, 其目的是为了防止类似数据倾斜等现象,一个服务器忙死一个闲死 ;

二 . RDD的五个特性

1、(必须的)RDD是有一系列分区组成的

2、(必须的)对RDD做计算,相当于对RDD的每个split或分区做计算

3、(必须的)RDD之间存在着依赖关系,宽依赖和窄依赖

4、(可选的)对于KV类型的RDD,我们可以进行自定义分区方案

5、(可选的)移动数据不如移动计算,让计算程序离数据越近越好

三 .RDD的五大特点

1、分区:RDD逻辑上是分区的,仅仅是定义分区的规则,并不是直接对数据进行分区操作,因为RDD本身不存储数据。

2、只读:RDD是不可变类型,RDD是只读的,要想改变RDD中的数据,只能在现有的RDD基础上创建新的RDD。

3、依赖:RDD之间存在着依赖关系,宽依赖和窄依赖

4、缓存:如果在应用程序中多次使用同一个RDD,可以将该RDD缓存起来,该RDD只有在第一次计算的时候会根据血缘关系得到分区的数据

5、checkpoint:与缓存类似的,都是可以将中间某一个RDD的结果保存起来,只不过checkpoint支持持久化保存,检查点成为了Spark的容错性,持久化

四 . 算子

RDD对象中提供了非常多的具有特殊功能的函数,我们将这些函数称为算子(函数/方法/API)

Spark算⼦有两类,分别是transformation算⼦和action算⼦。

● Transformation算⼦有:map,mapPartitions,groupBy,filter,distinct,repartition,union,

reduceByKey,groupByKey,Join,aggregateByKey等。

● Action算⼦有:reduce,collect,count,save,countByKey,aggregate,take。

在代码执行时,transfor的算子直接打印不会有结果,需要加.collect ; action算子就可以直接打印

flatmap和map的区别 : flatmap把split切分后的东西全部放在了一起 , map就只是一对一的

在打印输出的时候如果返回的是可迭代对象,就要在算子后面加 .mapValues(list).collect()

五 . 分区算子 ,重分区算子 , 聚合算子 ,关联算子

分区算子:

Map和mapPartitions的区别?
1) Map :每次处理⼀条数据
2) mapPartitions :每次处理⼀个分区数据

假如有10亿个数据要处理

foreach 一次处理10亿个

foreachPartition 10次处理,每次循环处理1亿个.

如果有反复消耗资源的操作,比如打开和关闭文件 ,数据库的关闭和连接 , 能够减少操作的次数

如果没有反复消耗资源的操作,那两种方法都一样

重分区算子

repartitions :重新修改RDD分区数, 可以增大和减少,只要有向无环图中间有两个stage,那stage之间就进行了shuffle过程,底层起始也是调用了coalesce, shuffle默认设了True ;

coalesce : 默认情况下减少RDD分区数 ,不会shuffle, shuffle过程会慢 ,在后面 传入参数shuffle = True ,就可以增加RDD分区数

rdd.coalesce(5,shuffle=True)

partition by 算子 : 该算子主要是用来改变key-value键值对数据类型RDD的分区数的。num表示要设置的分区数;fn参数是可选,用来让用户自定义分区规则。

聚合算子

reduce():根据传入的函数对数据进行聚合处理

fold:

aggregate:
reduceByKey:具有预聚合操作
groupByKey:没有预聚合
在不影响业务逻辑的前提下,优先采⽤reduceByKey。

关联算子:

  • join:实现两个RDD的join关联操作

  • leftOuterJoin:实现两个RDD的左关联操作

  • rightOuterJoin:实现两个RDD的右关联操作

  • fullOuterJoin:实现两个RDD的满外(全外)关联操作

相关推荐
2401_8830410839 分钟前
新锐品牌电商代运营公司都有哪些?
大数据·人工智能
青云交42 分钟前
大数据新视界 -- 大数据大厂之 Impala 性能优化:融合机器学习的未来之路(上 (2-1))(11/30)
大数据·计算资源·应用案例·数据交互·impala 性能优化·机器学习融合·行业拓展
魔道不误砍柴功43 分钟前
Java 中如何巧妙应用 Function 让方法复用性更强
java·开发语言·python
_.Switch1 小时前
高级Python自动化运维:容器安全与网络策略的深度解析
运维·网络·python·安全·自动化·devops
测开小菜鸟2 小时前
使用python向钉钉群聊发送消息
java·python·钉钉
Json_181790144803 小时前
An In-depth Look into the 1688 Product Details Data API Interface
大数据·json
萧鼎4 小时前
Python并发编程库:Asyncio的异步编程实战
开发语言·数据库·python·异步
学地理的小胖砸4 小时前
【一些关于Python的信息和帮助】
开发语言·python
疯一样的码农4 小时前
Python 继承、多态、封装、抽象
开发语言·python
Python大数据分析@4 小时前
python操作CSV和excel,如何来做?
开发语言·python·excel