【Spark】配置参数关系-重要

并行度数量

并行度指所有Executor可以同时执行的Task数,

每个Executor中的一个Core(线程,虚拟核数)同时只能执行一个Task,

所以 最大并行度 = Executor数量 * 每个Executor的Core数;

eg:资源配置10个Executor节点,每个节点2个Core,那么同一时间可以并行计算的task数为20,

如果RDD有100个分区,那么需要5轮计算完毕,

如果RDD有2个分区,那么计算时只使用2个Core,其余18个Core空转,浪费资源,

所以Spark调优中会通过增大RDD分区数,增大任务并行度来提高效率。

相关推荐
咸鱼求放生7 小时前
es在Linux安装
大数据·elasticsearch·搜索引擎
记得开心一点嘛7 小时前
使用MinIO搭建自己的分布式文件存储
分布式·spring cloud·minio
纪元A梦9 小时前
分布式拜占庭容错算法——PBFT算法深度解析
java·分布式·算法
人大博士的交易之路9 小时前
今日行情明日机会——20250606
大数据·数学建模·数据挖掘·数据分析·涨停回马枪
Leo.yuan12 小时前
数据库同步是什么意思?数据库架构有哪些?
大数据·数据库·oracle·数据分析·数据库架构
SelectDB技术团队13 小时前
从 ClickHouse、Druid、Kylin 到 Doris:网易云音乐 PB 级实时分析平台降本增效
大数据·数据仓库·clickhouse·kylin·实时分析
Web极客码14 小时前
在WordPress上添加隐私政策页面
大数据·人工智能·wordpress
TCChzp14 小时前
Kafka入门-消费者
分布式·kafka
Apache Flink14 小时前
Flink在B站的大规模云原生实践
大数据·云原生·flink
itachi-uchiha15 小时前
Docker部署Hive大数据组件
大数据·hive·docker