Spark常见面试题整理

Spark常见面试题整理

之前写过不少SparkMLlib和SparkGraphX的应用,但是一直都没有像Flink那样系统的写过它的架构和API等,一方面是它们有很多类似的情况,基本都是一通百通,另一方面是确实懒,最近两天整理文档翻到之前整理的一些面试题和工作中积累的一些有关Spark的问题,再整理一下发出来~

文章目录


1、Spark中如何优化Join操作?

分两种情况,一是小表Join大表,二是大表Join大表(小表Join小表,没有优化的必要),这里表的书法只是一种泛指,Spark中的join操作通用,包括RDD的Join。

  • 小表Join大表
  • 大表Join大表

Spark中如何优化Join操作?

2、数据倾斜问题具体指的是什么,一般怎么解决?

数据倾斜指的是数据在各个节点(执行器)之间分布不均衡,导致部分节点处理的数据量远多于其他节点(Spark和数仓中的数据倾斜本质是一个意思)。

Spark中常见的出现数据倾斜的原因:

  • 数据分布本身就不均匀:比如电商行业存在一些热门商品,游戏行业存在一些热门礼包
  • join或groupBy键的分布不均:如果进行这些操作时所依赖的键本身分布就是极不均衡的,某些键对应的数据量非常大,就会出现大量数据都分布在一个节点的问题即出现数据倾斜问题。
  • 默认的分区策略不适用:Spark 默认使用哈希分区来分配数据。如果数据的键经过哈希后,不能均匀地分布在不同的分区,也会造成数据倾斜。

数据倾斜解决方案

3、Spark中的缓存级别?

缓存机制能提高程序运行速度的原因是什么?

4、Spark中的窄依赖和宽依赖分别指的是什么?

Spark中的窄依赖和宽依赖分别指的是什么?

5、Spark中的任务和阶段分别指的是什么?

阶段是 Spark 执行过程中的一个关键概念。一个 Spark 作业由一系列的阶段组成,每个阶段包含对数据的一组并行操作。阶段的划分基本上由宽依赖(Shuffle 依赖)决定。(即如果一个操作,如 reduceByKey() 或 groupBy(),需要数据重新分配(Shuffle),Spark 会结束当前阶段并启动一个新阶段,因为这些操作需要从多个节点读取和重新组合数据,对于不需要大规模数据重组的操作(如 map()、filter()),可以在同一阶段内连续处理,因为这些操作仅涉及单个或少数几个父分区的数据处理)每当一个操作引入了宽依赖,Spark 就会结束当前的阶段并开始一个新阶段。

6、Spark中缓存和检查点(Checkpoint)的区别?

核心区别:是否切断血缘依赖
Spark中缓存和检查点(Checkpoint)的区别?


总结

相关推荐
武子康10 分钟前
大数据-212 数据挖掘 机器学习理论 - 无监督学习算法 KMeans 基本原理 簇内误差平方和
大数据·人工智能·学习·算法·机器学习·数据挖掘
lzhlizihang1 小时前
【Hive sql 面试题】求出各类型专利top 10申请人,以及对应的专利申请数(难)
大数据·hive·sql·面试题
Tianyanxiao1 小时前
如何利用探商宝精准营销,抓住行业机遇——以AI技术与大数据推动企业信息精准筛选
大数据·人工智能·科技·数据分析·深度优先·零售
大数据编程之光1 小时前
Hive 查询各类型专利 top10 申请人及专利申请数
大数据·数据仓库·hive·hadoop
GDDGHS_2 小时前
大数据工具 flume 的安装配置与使用 (详细版)
大数据·flume
Acrelhuang3 小时前
安科瑞5G基站直流叠光监控系统-安科瑞黄安南
大数据·数据库·数据仓库·物联网
皓7413 小时前
服饰电商行业知识管理的创新实践与知识中台的重要性
大数据·人工智能·科技·数据分析·零售
Mephisto.java3 小时前
【大数据学习 | kafka高级部分】kafka的kraft集群
大数据·sql·oracle·kafka·json·hbase
Mephisto.java3 小时前
【大数据学习 | kafka高级部分】kafka的文件存储原理
大数据·sql·oracle·kafka·json
yx9o4 小时前
Kafka 源码 KRaft 模式本地运行
分布式·kafka