Spark内存迭代计算

一、宽窄依赖

窄依赖:父RDD的一个分区数据全部发往子RDD的一个分区

宽依赖:父RDD的一个分区数据发往子RDD的多个分区,也称为shuffle

二、Spark是如何进行内存计算的?DAG的作用?Stage阶段划分的作用?

(1)Spark生成DAG图

(2)基于宽窄依赖对DAG图进行阶段划分

(3)每个stage内部都是窄依赖,窄依赖内,前后形成1:1的分区关系,一个stage的多个并行任务就成为了多个内存迭代计算管道

(4)这些内存迭代计算的管道,就是一个个具体的执行Task

(5)一个Task是一个具体的线程,任务跑在一个线程之中,就是走内存计算了。

相关推荐
小柯南敲键盘1 小时前
批量图片翻译与视频字幕一站式解决高效跨境电商沟通难题
大数据·人工智能·python·音视频
liulilittle1 小时前
论分布式系统的半开闭问题
服务器·网络·分布式·系统架构·竞态
豆瓣鸡3 小时前
XXL-JOB 定时任务——从 Docker 部署到分片广播,分布式任务调度落地
spring boot·分布式·docker·定时任务
Urbano4 小时前
卫衣生产工艺科普与智能自动化设备应用解析
大数据·运维·人工智能
Geeys4 小时前
拼多多投产比(ROI)越高好还是越低好?深度拆解合理阈值与高效提效工具
大数据
QC777LX4 小时前
运营岗位怎么借AI提升内容、活动和复盘效率?
大数据·人工智能
智塑未来5 小时前
AI Agent 搜索工具选型参考:聚焦 AI Agent 搜索的垂直专用基础设施
大数据·人工智能
liulilittle7 小时前
论双机热备:分布式
服务器·网络·分布式·通信·竞态
Urbano8 小时前
稳产提质、快返增效:慧拿智能模板机重塑服装厂精细化盈利模式
大数据·人工智能
YueLin1118 小时前
私域直播系统的下半场,是社区零售的分水岭
大数据·零售