Spark常见面试题整理

Spark常见面试题整理

之前写过不少SparkMLlib和SparkGraphX的应用,但是一直都没有像Flink那样系统的写过它的架构和API等,一方面是它们有很多类似的情况,基本都是一通百通,另一方面是确实懒,最近两天整理文档翻到之前整理的一些面试题和工作中积累的一些有关Spark的问题,再整理一下发出来~

文章目录


1、Spark中如何优化Join操作?

分两种情况,一是小表Join大表,二是大表Join大表(小表Join小表,没有优化的必要),这里表的书法只是一种泛指,Spark中的join操作通用,包括RDD的Join。

  • 小表Join大表
  • 大表Join大表

Spark中如何优化Join操作?

2、数据倾斜问题具体指的是什么,一般怎么解决?

数据倾斜指的是数据在各个节点(执行器)之间分布不均衡,导致部分节点处理的数据量远多于其他节点(Spark和数仓中的数据倾斜本质是一个意思)。

Spark中常见的出现数据倾斜的原因:

  • 数据分布本身就不均匀:比如电商行业存在一些热门商品,游戏行业存在一些热门礼包
  • join或groupBy键的分布不均:如果进行这些操作时所依赖的键本身分布就是极不均衡的,某些键对应的数据量非常大,就会出现大量数据都分布在一个节点的问题即出现数据倾斜问题。
  • 默认的分区策略不适用:Spark 默认使用哈希分区来分配数据。如果数据的键经过哈希后,不能均匀地分布在不同的分区,也会造成数据倾斜。

数据倾斜解决方案

3、Spark中的缓存级别?

缓存机制能提高程序运行速度的原因是什么?

4、Spark中的窄依赖和宽依赖分别指的是什么?

Spark中的窄依赖和宽依赖分别指的是什么?

5、Spark中的任务和阶段分别指的是什么?

阶段是 Spark 执行过程中的一个关键概念。一个 Spark 作业由一系列的阶段组成,每个阶段包含对数据的一组并行操作。阶段的划分基本上由宽依赖(Shuffle 依赖)决定。(即如果一个操作,如 reduceByKey() 或 groupBy(),需要数据重新分配(Shuffle),Spark 会结束当前阶段并启动一个新阶段,因为这些操作需要从多个节点读取和重新组合数据,对于不需要大规模数据重组的操作(如 map()、filter()),可以在同一阶段内连续处理,因为这些操作仅涉及单个或少数几个父分区的数据处理)每当一个操作引入了宽依赖,Spark 就会结束当前的阶段并开始一个新阶段。

6、Spark中缓存和检查点(Checkpoint)的区别?

核心区别:是否切断血缘依赖
Spark中缓存和检查点(Checkpoint)的区别?


总结

相关推荐
AWS官方合作商3 小时前
亚马逊云科技 Amazon Pinpoint 解决方案:构建智能全渠道互动平台,重塑用户增长体验
大数据·科技·aws
无人赴约的cat5 小时前
【20250607接单】Spark + Scala + IntelliJ 项目的开发环境配置从零教学
大数据·spark·scala
£菜鸟也有梦5 小时前
Flume进阶之路:从基础到高阶的飞跃
大数据·hive·hadoop·flume
lcw_lance7 小时前
智慧园区综合运营管理平台(SmartPark)和安全EHS平台的分工与协作
大数据·人工智能
阿里云大数据AI技术9 小时前
从MaxCompute到Milvus:通过DataWorks进行数据同步,实现海量数据高效相似性检索
大数据·数据库·数据分析
嫄码9 小时前
kafka快速入门与知识汇总
java·大数据·分布式·中间件·kafka·linq
白鲸开源10 小时前
如何将SeaTunnel MySQL-CDC与Databend 高效整合?格式与方案全解析
大数据
深兰科技10 小时前
南昌市新建区委书记陈奕蒙会见深兰科技集团董事长陈海波一行
大数据·人工智能·ai应用·深兰科技·陈奕蒙
Detachym10 小时前
CentOS7下的大数据NoSQL数据库HBase集群部署
大数据·nosql·hbase
zh_1999510 小时前
Spark 之 入门讲解详细版(1)
大数据·spark·mapreduce·数据库架构·etl·涛思数据·odps