【Spark】配置参数关系-重要

并行度数量

并行度指所有Executor可以同时执行的Task数,

每个Executor中的一个Core(线程,虚拟核数)同时只能执行一个Task,

所以 最大并行度 = Executor数量 * 每个Executor的Core数;

eg:资源配置10个Executor节点,每个节点2个Core,那么同一时间可以并行计算的task数为20,

如果RDD有100个分区,那么需要5轮计算完毕,

如果RDD有2个分区,那么计算时只使用2个Core,其余18个Core空转,浪费资源,

所以Spark调优中会通过增大RDD分区数,增大任务并行度来提高效率。

相关推荐
依年南台2 分钟前
安装Hadoop并运行WordCount程序
大数据·hadoop
TDengine (老段)17 分钟前
基于 TSBS 标准数据集下 TimescaleDB、InfluxDB 与 TDengine 性能对比测试报告
java·大数据·开发语言·数据库·时序数据库·tdengine·iotdb
TDengine (老段)20 分钟前
TDengine 在金融领域的应用
大数据·数据库·物联网·金融·时序数据库·tdengine·涛思数据
懒惰的橘猫1 小时前
RDD-自定义分区器案例
大数据
rylshe13141 小时前
spark sql基本操作
sql·spark
zandy10111 小时前
高并发场景下的BI架构设计:衡石分布式查询引擎与缓存分级策略
分布式·缓存·高并发架构·弹性扩展·分布式查询·缓存分级·mpp引擎
富能量爆棚2 小时前
Spark缓存-cache
大数据·spark
依年南台2 小时前
Spark处理过程-案例数据清洗
大数据·hadoop
猪猪果泡酒2 小时前
Spark,RDD中的转换算子
大数据·分布式·spark
TDengine (老段)2 小时前
TDengine 做为 Spark 数据源
大数据·数据库·物联网·ajax·spark·时序数据库·tdengine