Spark常见面试题整理

Spark常见面试题整理

之前写过不少SparkMLlib和SparkGraphX的应用,但是一直都没有像Flink那样系统的写过它的架构和API等,一方面是它们有很多类似的情况,基本都是一通百通,另一方面是确实懒,最近两天整理文档翻到之前整理的一些面试题和工作中积累的一些有关Spark的问题,再整理一下发出来~

文章目录


1、Spark中如何优化Join操作?

分两种情况,一是小表Join大表,二是大表Join大表(小表Join小表,没有优化的必要),这里表的书法只是一种泛指,Spark中的join操作通用,包括RDD的Join。

  • 小表Join大表
  • 大表Join大表

Spark中如何优化Join操作?

2、数据倾斜问题具体指的是什么,一般怎么解决?

数据倾斜指的是数据在各个节点(执行器)之间分布不均衡,导致部分节点处理的数据量远多于其他节点(Spark和数仓中的数据倾斜本质是一个意思)。

Spark中常见的出现数据倾斜的原因:

  • 数据分布本身就不均匀:比如电商行业存在一些热门商品,游戏行业存在一些热门礼包
  • join或groupBy键的分布不均:如果进行这些操作时所依赖的键本身分布就是极不均衡的,某些键对应的数据量非常大,就会出现大量数据都分布在一个节点的问题即出现数据倾斜问题。
  • 默认的分区策略不适用:Spark 默认使用哈希分区来分配数据。如果数据的键经过哈希后,不能均匀地分布在不同的分区,也会造成数据倾斜。

数据倾斜解决方案

3、Spark中的缓存级别?

缓存机制能提高程序运行速度的原因是什么?

4、Spark中的窄依赖和宽依赖分别指的是什么?

Spark中的窄依赖和宽依赖分别指的是什么?

5、Spark中的任务和阶段分别指的是什么?

阶段是 Spark 执行过程中的一个关键概念。一个 Spark 作业由一系列的阶段组成,每个阶段包含对数据的一组并行操作。阶段的划分基本上由宽依赖(Shuffle 依赖)决定。(即如果一个操作,如 reduceByKey() 或 groupBy(),需要数据重新分配(Shuffle),Spark 会结束当前阶段并启动一个新阶段,因为这些操作需要从多个节点读取和重新组合数据,对于不需要大规模数据重组的操作(如 map()、filter()),可以在同一阶段内连续处理,因为这些操作仅涉及单个或少数几个父分区的数据处理)每当一个操作引入了宽依赖,Spark 就会结束当前的阶段并开始一个新阶段。

6、Spark中缓存和检查点(Checkpoint)的区别?

核心区别:是否切断血缘依赖
Spark中缓存和检查点(Checkpoint)的区别?


总结

相关推荐
萤火虫儿飞飞1 小时前
从基础加热到智能生态跨越:艾芬达用创新重构行业价值边界!
大数据·人工智能·重构
seanmeng20221 小时前
Apache Iceberg on AWS - 通过Firehose流式导入数据到Iceberg表
大数据
seanmeng20221 小时前
Apache Iceberg on AWS - 理解Iceberg表格式
大数据
简婷187019987752 小时前
高速路上的 “阳光哨兵”:分布式光伏监控系统守护能源高效运转
分布式·能源
运器1232 小时前
【一起来学AI大模型】PyTorch DataLoader 实战指南
大数据·人工智能·pytorch·python·深度学习·ai·ai编程
钺商科技2 小时前
【6.1.2 漫画分布式事务技术选型】
分布式
帅次3 小时前
系统分析师-计算机系统-输入输出系统
人工智能·分布式·深度学习·神经网络·架构·系统架构·硬件架构
mit6.8244 小时前
[es自动化更新] Updatecli编排配置.yaml | dockerfilePath值文件.yml
大数据·elasticsearch·搜索引擎·自动化
Jinkxs4 小时前
Elasticsearch 简介
大数据·elasticsearch·搜索引擎
亮学长6 小时前
lodash不支持 Tree Shaking 而 lodash-es可以
大数据·前端·elasticsearch