Spark-RDD的依赖

RDD的依赖

rdd之间是有依赖关系

• 窄依赖
  • 每个父RDD的一个Partition最多被子RDD的一个Partition所使用
  • 父rdd和子rdd的分区是一对一
    • map
    • flatMap
    • fliter
• 宽依赖
  • 父RDD的Partition会被多个子RDD的Partition所使用
  • 父rdd和子rdd的分区是一对多
    • grouBy()
    • grouByKey()
    • sortBy()
    • sortByKey()
    • reduceBykey()
    • distinct()

rdd1 --> rdd2 -->rdd3

• Spark中有DAG管理依赖关系

  • DAG叫做有向无环图，是一个图计算算法。
  • 管理rdd依赖关系，保证rdd按照依赖关系进行数据的顺序计算
  • 会根据rdd的依赖关系将计算过程分成多个计算步骤，每个计算步骤称为一个stage
  • 在计算的rdd依赖关系中，一旦发生了宽依赖，就会进行步骤拆分

• 日志查看依赖关系和计算流程

  服务启动： /export/server/spark/sbin/start-history-server.sh

  程序运行期间查看 4040端口 交互式开发

  程序运行结束后查看 18080端口

  • APP 是计算应用程序
    • job 计算任务 （执行算子 触发计算任务）
      • DAG 管理依赖关系
        • stage 计算步骤的划分
          • task线程 完成该步骤下方法计算