Spark常见面试题整理

Spark常见面试题整理

之前写过不少SparkMLlib和SparkGraphX的应用,但是一直都没有像Flink那样系统的写过它的架构和API等,一方面是它们有很多类似的情况,基本都是一通百通,另一方面是确实懒,最近两天整理文档翻到之前整理的一些面试题和工作中积累的一些有关Spark的问题,再整理一下发出来~

文章目录


1、Spark中如何优化Join操作?

分两种情况,一是小表Join大表,二是大表Join大表(小表Join小表,没有优化的必要),这里表的书法只是一种泛指,Spark中的join操作通用,包括RDD的Join。

  • 小表Join大表
  • 大表Join大表

Spark中如何优化Join操作?

2、数据倾斜问题具体指的是什么,一般怎么解决?

数据倾斜指的是数据在各个节点(执行器)之间分布不均衡,导致部分节点处理的数据量远多于其他节点(Spark和数仓中的数据倾斜本质是一个意思)。

Spark中常见的出现数据倾斜的原因:

  • 数据分布本身就不均匀:比如电商行业存在一些热门商品,游戏行业存在一些热门礼包
  • join或groupBy键的分布不均:如果进行这些操作时所依赖的键本身分布就是极不均衡的,某些键对应的数据量非常大,就会出现大量数据都分布在一个节点的问题即出现数据倾斜问题。
  • 默认的分区策略不适用:Spark 默认使用哈希分区来分配数据。如果数据的键经过哈希后,不能均匀地分布在不同的分区,也会造成数据倾斜。

数据倾斜解决方案

3、Spark中的缓存级别?

缓存机制能提高程序运行速度的原因是什么?

4、Spark中的窄依赖和宽依赖分别指的是什么?

Spark中的窄依赖和宽依赖分别指的是什么?

5、Spark中的任务和阶段分别指的是什么?

阶段是 Spark 执行过程中的一个关键概念。一个 Spark 作业由一系列的阶段组成,每个阶段包含对数据的一组并行操作。阶段的划分基本上由宽依赖(Shuffle 依赖)决定。(即如果一个操作,如 reduceByKey() 或 groupBy(),需要数据重新分配(Shuffle),Spark 会结束当前阶段并启动一个新阶段,因为这些操作需要从多个节点读取和重新组合数据,对于不需要大规模数据重组的操作(如 map()、filter()),可以在同一阶段内连续处理,因为这些操作仅涉及单个或少数几个父分区的数据处理)每当一个操作引入了宽依赖,Spark 就会结束当前的阶段并开始一个新阶段。

6、Spark中缓存和检查点(Checkpoint)的区别?

核心区别:是否切断血缘依赖
Spark中缓存和检查点(Checkpoint)的区别?


总结

相关推荐
bksczm12 小时前
Redis Cluster 分片集群详解:槽路由、故障判定与扩缩容
数据库·redis·分布式
txxzjmzlh13 小时前
RabbitMQ安装
分布式·rabbitmq
黑十13 小时前
FDE 怎么快速搭一个可演示页面?最小前端方案
java·大数据·前端·数据库·人工智能
Databend14 小时前
OpenRaft 自定义 Membership,按部署拓扑选择 Quorum
大数据·数据库·数据分析
Databend15 小时前
用 SQL 排查支付故障,OpenTelemetry 接入 Databend Cloud 实战
大数据·数据库·sql
上海潭龙东海科技有限公司15 小时前
智慧堆场动态模型三维实时孪生重构智能管控
大数据·网络·数据库·算法·重构
尹文祥16 小时前
Apache Doris 2.1.10:存储结构、索引与查询优化详解
大数据
isfox19 小时前
Hadoop 序列化:为什么不用 Java 自带 Serializable?
大数据
字节跳动数据平台20 小时前
火山引擎 VeKnow 落地指南(下):从知识编译到价值渗透
大数据
AI源码1 天前
基于Spark的期刊推荐系统的设计与实现
大数据·分布式·spark