[spark面试]spark与mapreduce的区别---在DAG方面

1、spark中的task是以线程实现的,而mapreduce中是以进程实现的。

进程的频繁启动和停止会增加资源的消耗。

2、spark中支持DAG,而mapreduce不支持DAG

DAG的使用:为什么支持DAG会更加高效

1)、在DAG图中,会将一个job划分为不同的stage,同一个stage会在内存中进行转换,而不同stage之间需要进行shuffle过程,否则对于spark来说,他并不知道哪一个RDD之间的转换需要使用磁盘。------即第三个区别

2)、spark的lazy模式(惰性求值),就是基于DAG图实现的,因为DAG图中存放了task中的血缘关系。

lazy模式的优点:

1、可以**减少数据传输和计算开销,**例如,多个转换操作可以在一次计算中并行执行,避免了多次中间结果的生成和传输。

2、优化执行计划: Spark 可以在执行时分析整个计算图,并应用各种优化技术,如 管道化(Pipelining) 和 合并操作(Operation Fusion)。

  1. spark的宽窄依赖和DAG的相互配合可以在某一个分区的数据丢失时,快速恢复,不需要从头开始。

若在一个stage中的有某一个分区的数据丢失,可以通过DAG和窄依赖(父RDD分区的数据只传递给子RDD的某一个分区)对该分区的数据进行回溯,当然若是跨了多个stage,就麻烦了。

3、spark主要是基于一个内存的引擎,而mapreduce是基于磁盘的。

相关推荐
阿乔外贸日记几秒前
外贸风控|美国市场7大类欺诈模式解析与风控框架
大数据·人工智能·物联网·microsoft·智能手机
金融小师妹5 分钟前
时间序列分析:历次联储利率调整与政策周期变化研究
大数据·人工智能·逻辑回归
ShineWinsu8 分钟前
对于Qt:QWidget通用属性的解析—上
数据库·qt·microsoft·面试·gui·属性·qwidget
每天一道题9 分钟前
分布式锁真的安全吗?从 Redis 锁、Lease 到 Fencing Token
redis·分布式·安全
Elastic 中国社区官方博客11 分钟前
使用 OpenTelemetry 在 Elastic 中实现 Claude 平台的人工智能 agent 可观测性
大数据·运维·服务器·人工智能·elasticsearch·信息可视化·全文检索
GOWIN革文品牌咨询15 分钟前
B2B圆桌内容化:问题链、记录与授权工作流
大数据·架构
隔窗听雨眠1 小时前
从取数到行动:数据分析失效的链路拆解与闭环重建
大数据·数据挖掘·数据分析
网教盟人才服务平台1 小时前
PTP 标准化渗透能力落地,规范商用安全测试全流程
大数据·安全·web安全
金融小师妹1 小时前
多因子定价模型:联储决议临近,黄金+1.1%的宏观驱动与走势分析
大数据·逻辑回归·线性回归
演艺大赏1 小时前
Kyuubi + SparkSQL 查询时间戳少 8 小时解决:spark.sql.hive.convertMetastoreParquet 导致的显示偏差完整
大数据