Spark内存迭代计算

一、宽窄依赖

窄依赖:父RDD的一个分区数据全部发往子RDD的一个分区

宽依赖:父RDD的一个分区数据发往子RDD的多个分区,也称为shuffle

二、Spark是如何进行内存计算的?DAG的作用?Stage阶段划分的作用?

(1)Spark生成DAG图

(2)基于宽窄依赖对DAG图进行阶段划分

(3)每个stage内部都是窄依赖,窄依赖内,前后形成1:1的分区关系,一个stage的多个并行任务就成为了多个内存迭代计算管道

(4)这些内存迭代计算的管道,就是一个个具体的执行Task

(5)一个Task是一个具体的线程,任务跑在一个线程之中,就是走内存计算了。

相关推荐
itachi-uchiha1 小时前
Docker部署Hive大数据组件
大数据·hive·docker
viperrrrrrrrrr72 小时前
大数据学习(131)-Hive数据分析函数总结
大数据·hive·学习
FakeOccupational3 小时前
【p2p、分布式,区块链笔记 MESH】Bluetooth蓝牙通信 BLE Mesh协议的拓扑结构 & 定向转发机制
笔记·分布式·p2p
lifallen3 小时前
Flink checkpoint
java·大数据·算法·flink
·云扬·4 小时前
【PmHub面试篇】性能监控与分布式追踪利器Skywalking面试专题分析
分布式·面试·skywalking
Leo.yuan5 小时前
API是什么意思?如何实现开放API?
大数据·运维·数据仓库·人工智能·信息可视化
禺垣5 小时前
知识图谱技术概述
大数据·人工智能·深度学习·知识图谱
qq_408413395 小时前
spark 执行 hive sql数据丢失
hive·sql·spark
后端码匠5 小时前
Spark 单机模式部署与启动
大数据·分布式·spark