2024.1.4 Spark Core ,RDD ,算子

目录

[一 . RDD(弹性分布式数据集)](#一 . RDD(弹性分布式数据集))

[二 . RDD的五个特性](#二 . RDD的五个特性)

[三 .RDD的五大特点](#三 .RDD的五大特点)

[四 . 算子](#四 . 算子)

[五 . 分区算子 ,重分区算子 , 聚合算子 ,关联算子](#五 . 分区算子 ,重分区算子 , 聚合算子 ,关联算子)

分区算子:

重分区算子

聚合算子

关联算子:


一 . RDD(弹性分布式数据集)

Resilent弹性 Distrbuted分布式 Dataset数据集

  1. rdd是Spark底层的数据结构

  2. Task 在Spark中就是线程

3 . RDD中的一个分区就是一个线程,分区数有多少线程数就有多少 ,set Master local里设置的就是线程

  1. 使用 sc.parallelize(result)构建rdd,他的分区数量是受setMaster的local数影响的,你设置多少个就是多少分区 ; 如果这里写local[*],就会默认分区数是cpu核数 ; 如果在参数里有设置numslices, name就以参数的这个数量为分区数

  2. 使用 sc.textfile构建RDD , 把setMaster 的local[]的值设置大于2的时候,不生效,分区的数量还是2 , 但是调小会生效 ;

在minPartitions里没有设置参数,那么一般就根据公式min(spark.default.parallelism,2)

在参数里设置 minPartitions, 这个参数设置的是最小分区的,所以得出来分区数是大于等于minPartitions设置的数的, 个别情况底层也会有优化,钥匙设置100,可能会出来36, 总之到底是多少没法保证 ;

  1. 使用wholeTextFile 构建RDD, setMaster 的local 数量 ,minPartitions , 文件的具体数量 ,都会影响分区的数量, 当设置了minPartitions的时候,最大的分区数量为 文件的最大数量

查看分区数的命令

data = [1,2,3,4,5,6]

init_rdd = sc.parallelize(data)

print(init_rdd.getNumPartitions())

查看分区数

init_rdd = sc.textFile( 'file:///export/data/2024.1.2_Spark/1.2_day01/content.txt' , minPartitions=10 )

7 .RDD 的分区数据量受到多个因素,例如:机器Cpu的核数 , 调用的算子 , 算子中参数的设置, 集群的类型等 . 实际中一般设置分区数量为cpu核数的两到三倍, 其目的是为了防止类似数据倾斜等现象,一个服务器忙死一个闲死 ;

二 . RDD的五个特性

1、(必须的)RDD是有一系列分区组成的

2、(必须的)对RDD做计算,相当于对RDD的每个split或分区做计算

3、(必须的)RDD之间存在着依赖关系,宽依赖和窄依赖

4、(可选的)对于KV类型的RDD,我们可以进行自定义分区方案

5、(可选的)移动数据不如移动计算,让计算程序离数据越近越好

三 .RDD的五大特点

1、分区:RDD逻辑上是分区的,仅仅是定义分区的规则,并不是直接对数据进行分区操作,因为RDD本身不存储数据。

2、只读:RDD是不可变类型,RDD是只读的,要想改变RDD中的数据,只能在现有的RDD基础上创建新的RDD。

3、依赖:RDD之间存在着依赖关系,宽依赖和窄依赖

4、缓存:如果在应用程序中多次使用同一个RDD,可以将该RDD缓存起来,该RDD只有在第一次计算的时候会根据血缘关系得到分区的数据

5、checkpoint:与缓存类似的,都是可以将中间某一个RDD的结果保存起来,只不过checkpoint支持持久化保存,检查点成为了Spark的容错性,持久化

四 . 算子

RDD对象中提供了非常多的具有特殊功能的函数,我们将这些函数称为算子(函数/方法/API)

Spark算⼦有两类,分别是transformation算⼦和action算⼦。

● Transformation算⼦有:map,mapPartitions,groupBy,filter,distinct,repartition,union,

reduceByKey,groupByKey,Join,aggregateByKey等。

● Action算⼦有:reduce,collect,count,save,countByKey,aggregate,take。

在代码执行时,transfor的算子直接打印不会有结果,需要加.collect ; action算子就可以直接打印

flatmap和map的区别 : flatmap把split切分后的东西全部放在了一起 , map就只是一对一的

在打印输出的时候如果返回的是可迭代对象,就要在算子后面加 .mapValues(list).collect()

五 . 分区算子 ,重分区算子 , 聚合算子 ,关联算子

分区算子:

Map和mapPartitions的区别?
1) Map :每次处理⼀条数据
2) mapPartitions :每次处理⼀个分区数据

假如有10亿个数据要处理

foreach 一次处理10亿个

foreachPartition 10次处理,每次循环处理1亿个.

如果有反复消耗资源的操作,比如打开和关闭文件 ,数据库的关闭和连接 , 能够减少操作的次数

如果没有反复消耗资源的操作,那两种方法都一样

重分区算子

repartitions :重新修改RDD分区数, 可以增大和减少,只要有向无环图中间有两个stage,那stage之间就进行了shuffle过程,底层起始也是调用了coalesce, shuffle默认设了True ;

coalesce : 默认情况下减少RDD分区数 ,不会shuffle, shuffle过程会慢 ,在后面 传入参数shuffle = True ,就可以增加RDD分区数

rdd.coalesce(5,shuffle=True)

partition by 算子 : 该算子主要是用来改变key-value键值对数据类型RDD的分区数的。num表示要设置的分区数;fn参数是可选,用来让用户自定义分区规则。

聚合算子

reduce():根据传入的函数对数据进行聚合处理

fold:

aggregate:
reduceByKey:具有预聚合操作
groupByKey:没有预聚合
在不影响业务逻辑的前提下,优先采⽤reduceByKey。

关联算子:

  • join:实现两个RDD的join关联操作

  • leftOuterJoin:实现两个RDD的左关联操作

  • rightOuterJoin:实现两个RDD的右关联操作

  • fullOuterJoin:实现两个RDD的满外(全外)关联操作

相关推荐
achaoyang4 分钟前
【Python中while循环】
开发语言·python
soso196811 分钟前
构建与优化数据仓库-实践指南
大数据·数据仓库·人工智能
Mr.Demo.29 分钟前
[RabbitMQ] 保证消息可靠性的三大机制------消息确认,持久化,发送方确认
分布式·rabbitmq
eclipsercp38 分钟前
PyQt5:Python GUI开发的超级英雄
开发语言·python·qt
小扳40 分钟前
微服务篇-深入了解使用 RestTemplate 远程调用、Nacos 注册中心基本原理与使用、OpenFeign 的基本使用
java·运维·分布式·后端·spring·微服务·架构
codists1 小时前
《Django 5 By Example》阅读笔记:p339-p358
python·django
檀越剑指大厂1 小时前
【Python系列】异步 Web 服务器
服务器·前端·python
LightOfNight1 小时前
Redis设计与实现第14章 -- 服务器 总结(命令执行器 serverCron函数 初始化)
服务器·数据库·redis·分布式·后端·缓存·中间件
m0_676099581 小时前
数据结构--创建链表--Python
数据结构·python·链表
搬砖的果果2 小时前
HTTP代理是什么,主要用来干嘛?
网络·python·网络协议·tcp/ip·http