Spark任务调度流程详解

1. 核心调度组件
  • DAGScheduler:负责将Job拆分为Stage,处理Stage间的依赖关系。

  • TaskScheduler:将Task分配到Executor,监控任务执行。

  • SchedulerBackend:与集群管理器(如YARN、K8s)通信,管理Executor资源。


2. 调度流程分步拆解
步骤1:用户提交代码
Scala 复制代码
val rdd = sc.textFile("hdfs://data.txt")
  .flatMap(_.split(" "))
  .map((_, 1))
  .reduceByKey(_ + _)
rdd.collect()  // 触发Job提交
步骤2:生成DAG(有向无环图)
  • RDD血缘(Lineage) :记录RDD的转换过程(textFileflatMapmapreduceByKey)。

  • 宽依赖(Shuffle)reduceByKey导致Stage划分。

步骤3:划分Stage
  • Stage 0textFileflatMapmap(窄依赖,合并为一个Stage)。

  • Stage 1reduceByKey(宽依赖,单独一个Stage)。

步骤4:提交Task
  • Stage 0 生成多个MapTaskStage 1 生成多个ReduceTask

  • TaskScheduler根据数据本地性(Data Locality)分配Task到Executor。

步骤5:执行与监控
  • Executor执行Task,向Driver汇报状态。

  • 失败Task自动重试(默认重试3次)。


3. 关键概念详解
概念 说明 示例
Job 由行动操作(如collect)触发的完整计算任务 一次collect()生成一个Job
Stage 由一组无Shuffle依赖的Task组成(分为ResultStageShuffleMapStage reduceByKey前为一个Stage
Task Stage中每个分区的计算单元(ShuffleMapTaskResultTask 处理一个分区的数据
Shuffle 跨Stage数据重分布(如groupByKeyjoin reduceByKey触发Shuffle
数据本地性 优先将Task调度到数据所在节点(PROCESS_LOCAL > NODE_LOCAL > ANY 读取HDFS块时优先分配到数据所在节点

4. 调度流程示意图

5. 性能优化点
  1. 减少Shuffle

    • reduceByKey替代groupByKey(提前局部聚合)。

    • 使用Broadcast Join代替Shuffle Join

  2. 调整并行度

    • 通过spark.default.parallelismrepartition()控制分区数。
  3. 数据本地性

    • 确保输入数据与Executor在同一节点(如HDFS副本策略)。
  4. 资源分配

    • 合理设置Executor内存(spark.executor.memory)和CPU核心数(spark.executor.cores)。

6. 容错机制
  • Stage重试:若某个Stage失败,重新提交该Stage的所有Task。

  • Task重试:单个Task失败后,TaskScheduler会重新调度(默认最多3次)。

  • 血缘恢复:若Executor丢失数据,根据RDD血缘重新计算。


总结

Spark的调度机制通过DAG优化、本地性优先和容错设计,实现了高效的大数据处理。理解其原理后,可通过调整分区策略、优化Shuffle操作等手段显著提升性能。

相关推荐
0和1的舞者1 小时前
《Git:从入门到精通(八)——企业级git开发相关内容》
大数据·开发语言·git·搜索引擎·全文检索·软件工程·初学者
运维行者_2 小时前
AWS云服务故障复盘——从故障中汲取的 IT 运维经验
大数据·linux·运维·服务器·人工智能·云计算·aws
TDengine (老段)2 小时前
TDengine 配置参数作用范围对比
大数据·数据库·物联网·时序数据库·tdengine·涛思数据
幼儿园老大*3 小时前
什么是分布式数据库?有什么优势?
数据库·分布式
武子康4 小时前
大数据-135 ClickHouse 集群连通性自检 + 数据类型避坑实战|10 分钟跑通 ON CLUSTER
大数据·分布式·后端
Olrookie4 小时前
StreamX部署详细步骤
大数据·笔记·flink
CRMEB系统商城5 小时前
【新版发布】标准版PHP v5.6.4正式版,优化部分用户体验
java·大数据·小程序·php·ux
m0_748255415 小时前
深度掌握 Git 分支体系:从基础操作到高级策略与实践案例
大数据·git·elasticsearch
腾视科技6 小时前
安全驾驶 智在掌控|腾视科技ES06终端,为车辆运营赋能
大数据·人工智能·科技·安全·大模型