Spark内存迭代计算

一、宽窄依赖

窄依赖:父RDD的一个分区数据全部发往子RDD的一个分区

宽依赖:父RDD的一个分区数据发往子RDD的多个分区,也称为shuffle

二、Spark是如何进行内存计算的?DAG的作用?Stage阶段划分的作用?

(1)Spark生成DAG图

(2)基于宽窄依赖对DAG图进行阶段划分

(3)每个stage内部都是窄依赖,窄依赖内,前后形成1:1的分区关系,一个stage的多个并行任务就成为了多个内存迭代计算管道

(4)这些内存迭代计算的管道,就是一个个具体的执行Task

(5)一个Task是一个具体的线程,任务跑在一个线程之中,就是走内存计算了。

相关推荐
张小凡vip11 小时前
Kafka--使用 Kafka Connect 导入/导出数据
分布式·kafka
无忧智库11 小时前
某市“十五五“知识产权大数据监管平台与全链条保护系统建设方案深度解读(WORD)
大数据·人工智能
回忆是昨天里的海11 小时前
kafka概述
分布式·kafka
知识即是力量ol11 小时前
初识 Kafka(一):分布式流平台的定义、核心优势与架构全景
java·分布式·kafka·消息队列
综合热讯11 小时前
股票融资融券交易时间限制一览与制度说明
大数据·人工智能·区块链
华农DrLai11 小时前
Spark SQL Catalyst 优化器详解
大数据·hive·sql·flink·spark
Pluchon11 小时前
硅基计划4.0 算法 简单模拟实现位图&布隆过滤器
java·大数据·开发语言·数据结构·算法·哈希算法
nbsaas-boot11 小时前
Pipeline + Saga 分布式扩展规范
分布式
creator_Li11 小时前
分布式IM聊天系统的消息可靠性
分布式·im
岁岁种桃花儿11 小时前
Flink从入门到上天系列第一篇:搭建第一个Flink程序
大数据·linux·flink·数据同步