spark:一些概念如并行度、分区数、task,stage等

定义: 并行度是指Spark任务可以同时执行的子任务(Task)的数量。

分区数: 一个RDD(弹性分布式数据集)被分成多个分区,每个分区对应一个Task。

因此,分区数直接决定了并行度的上限。这是因为如果分区数小于并行度,即使设置的并行度很大,但是没有那么多分区数来运行,所以实际的并行度会比设置的并行度小。

分区数是并行度的上限,但并行度不一定等于分区数。

一个分区对应一个Task,因此分区数决定了最多可以同时执行多少个Task。

Executor数量和核心数: Executor是Spark执行任务的工作单元,每个Executor可以同时执行多个Task。Executor的数量和每个Executor的核数共同决定了Spark集群的总计算资源,从而影响实际的并行度。

Executor数量和核心数决定了实际的并行度: Executor数量和核心数共同决定了Spark集群的总计算资源,从而影响实际的并行度。

分区数: 通常设置为集群中CPU核数的2-3倍。

同时设置并行度和分区数时,并行度小于分区数:Spark会以并行度为准,只启动与并行度相等的Task。剩余的分区会在后续的调度中被执行。

同时设置并行度和分区数时,并行度大于分区数:Spark会忽略多余的并行度设置,并以分区数为准。

动态分区:在Spark中,动态分区(Dynamic Partitioning)是一种在写入数据到Hive表时,根据数据本身的属性来决定分区键的值,从而实现自动分区的功能。与静态分区需要预先定义分区键不同,动态分区使得分区更加灵活,能够适应不断变化的数据。

窄依赖:父rdd的一个分区,全部将数据发给子rdd的一个分区

宽依赖 :父rdd的一个分区,将数据发给子rdd的多个分区。宽依赖也叫做shuffle。

**stage:**通常,从后向前,遇到宽依赖时,就会划分一个新的Stage。

相关推荐
Lansonli15 小时前
大数据Spark(九十二):Spark WebUI介绍
大数据·分布式·spark
AI源码2 天前
基于Spark的期刊推荐系统的设计与实现
大数据·分布式·spark
starzy19906 天前
Structured Streaming 结构化流概述:把流数据当作一张无限增长的表
大数据·spark
Lansonli8 天前
大数据Spark(八十八):Spark任务资源之Standalone集群测试
java·服务器·spark
Lansonli10 天前
大数据Spark(八十七):Spark-Submit 参数详解
大数据·分布式·spark
阿里云大数据AI技术15 天前
EMR Serverless Ray:让 AI 推理融入数据处理
人工智能·spark
freejackman20 天前
【架构篇】双遍历 + 多栈协同:手撸 SQL 血缘引擎的架构思考
java·大数据·数据库·hive·sql·架构·spark
陈年老古董20 天前
Spark 3.1.3 集群搭建 + Spark-SQL 整合 Hive 记录
hive·sql·spark
乌恩大侠21 天前
「AI-RAN」Aerial,使用ORAN C1模式
人工智能·5g·spark·o-ru·ai-ran