宽窄依赖/宽窄巷子——spark

宽窄依赖是用于标记算子是否需要shuffle过程的

------本质:只是一种标记,标记两个RDD之间的依赖关系,用于判断是否需要进行shuffle

窄依赖:Narrow Dependencies

复制代码

定义:父RDD的一个分区的数据只给了子RDD的一个分区 【不用经过Shuffle】 特点:一对一或者多对一 不经过Shuffle,性能相对较快, 但无法实现全局分区、排序、分组等 一个Stage内部的计算都是窄依赖的过程,全部在内存中 完成。

宽依赖:Wide/Shuffle Dependencies

复制代码

定义:父RDD的一个分区的数据给了子RDD的多个分区 【需要调用Shuffle的分区器来实现】 特点:一对多,必须经过Shuffle ,性能相对较慢,可以实现全局分区、排序、分组等 Spark的job中按照宽依赖来划分不同的Stage

为什么要标记宽窄关系?

1)提高数据容错的性能,避免分区数据丢失时,需要重新构建整个RDD

复制代码
场景:如果子RDD的某个分区的数据丢失
不标记:不清楚父RDD分区与子RDD分区数据之间的关系,必须重新构建整个父RDD所有分区数据
标记了:父RDD一个分区只对应子RDD的一个分区,按照对应关系恢复父RDD的对应分区即可

2)提高数据转换的性能,将连续窄依赖操作使用同一个Task都放在内存中直接转换

复制代码
如果不标记,怎么知道哪些算子需要shuffer呢?
------------就只能把数据放在磁盘,让shuffer算子,去拉取数据,效率低
相关推荐
weixin_462446231 分钟前
解决MongoDB官网下载过慢问题
数据库·mongodb
青蛙大侠公主8 分钟前
Spring事务
java·数据库·spring
老华带你飞13 分钟前
校务管理|基于springboot 校务管理系统(源码+数据库+文档)
java·数据库·vue.js·spring boot·后端·spring
TG:@yunlaoda360 云老大26 分钟前
阿里云国际站代理商RPA跨境服务的适用场景有哪些?
大数据·阿里云·rpa
古城小栈1 小时前
.proto文件:跨语言通信 的 协议基石
分布式·微服务
微盛企微增长小知识1 小时前
2025企业微信服务商测评:头部服务商微盛AI·企微管家技术实力与落地效果解析
大数据·人工智能·企业微信
zzz大王1 小时前
sql 五十题 26-30
数据库·sql
TMO Group 探谋网络科技1 小时前
AI电商的应用:Magento 使用 Adobe 生成式 AI改造7大业务场景
大数据·人工智能·adobe·ai
UI设计兰亭妙微1 小时前
理性数据,温柔体验:北京兰亭妙微解码 Hydra Corps. 企业管理界面的 “松弛感设计”
大数据·人工智能·用户体验设计
慎独4131 小时前
家家有:从单向支出到价值循环,绿色积分如何 重构商业逻辑?
大数据·人工智能