【spark】——spark面试题(1)

一、Spark能做什么?

  • 实现离线数据批处理:类似于MapReduce、Pandas,写代码做处理:代码类的离线数据处理 。
  • 实现交互式即时数据查询:类似于Hive、Presto、Impala,使 用SQL做即席查询分析:SQL类的离线数据处理
  • 实现实时数据处理:类似于Storm、Flink实现分布式的实时计算:代码类实时计算或者SQL类的实时计算
  • 实现机器学习的开发:代替传统一些机器学习工具

二、spark由哪些部分组成?

  • Spark Core:Spark最核心的模块,可以基于多种语言实现代码类的离线开发 【类似于MR】
  • Spark SQL:类似于Hive,基于SQL进行开发,SQL会转换为SparkCore离线程序 【类似Hive】
  • Spark Streaming:基于SparkCore之上构建了准实时的计算模块 【淘汰了】
  • Struct Streaming:基于SparkSQL之上构建了结构化实时计算模块 【替代了Spark Streaming】
  • Spark ML lib:机器学习算法库,提供各种机器学习算法工具,可以基于SparkCore或者SparkSQL实现开发。

三、spark运行有五种模式

本地模式:

  • Local:一般用于做测试,验证代码逻辑,不是分布式运行,只会启动1个进程来运行所有任务。
    集群模式:
  • Cluster:一般用于生产环境,用于实现PySpark程序的分布式的运行
  • Standalone:Spark自带的分布式资源平台,功能类似于YARN
  • YARN:Spark on YARN,将Spark程序提交给YARN来运行,工作中主要使用的模式
  • Mesos:类似于YARN,国外见得多,国内基本见不到
  • K8s:基于分布式容器的资源管理平台,运维层面的工具。
    解释:Spark是一个分布式的分析引擎,所以它部署的时候是分布式的,有用主节点,从节点这些内容。Standalone使用的是Spark自带的分布式资源平台,但是假如一个公司已经有Yarn分析平台了,就没必要再搭建spark分析平台,浪费资源。

四、spark 为什么比MR快?

  • spark支持有向无环图、mr不支持有向无环图
  • spark是基于内存的计算引擎、MR是基于磁盘的计算引擎
  • spark执行Task任务是线程级任务、MR执行Task任务是进程级任务

五、rdd五大特性

  • 每个RDD都由一系列的分区构成
  • RDD的转换操作本质上是对RDD所有分区的并行转换
  • 每个RDD都会保存与其他RDD之间的依赖关系:血链机制或者血脉机制
  • 可选的,如果是二元组【KV】类型的RDD,在Shuffle过程中可以自定义分区器。
  • 可选的,Spark程序运行时,Task的分配可以指定实现本地优先计算:最优计算位置.

六、spark中哪些是shuffle算子,哪些是触发算子,哪些是转换算子

触发算子

count foreach saveAsTextFile first take

collect reduce top takeOrdered

collectAsMap foreachParition max min mean sum

转换算子

map flatMap filter union distinct groupByKey sortByKey sortBy reduceByKey

repartition coalesce keys values mapValues

join fullOuterJoin leftOuterJoin rightOuterJoin

mapPartitions

七、哪些算子可以触发shuffle过程

groupByKey sortByKey sortBy reduceByKey repartition

coalesce(不一定,具体可自查一下) join( fullOuterJoin / leftOuterJoin / rightOuterJoin)

八、创建rdd的两种方式

方式一:并行化一个已存在的集合

方式二:读取外部共享存储系统

相关推荐
P.H. Infinity1 分钟前
【RabbitMQ】01-RabbitMQ
分布式·rabbitmq
码农爱java12 分钟前
Kafka 之顺序消息
spring boot·分布式·微服务·kafka·mq·消息中间件·顺序消息
Amagi.44 分钟前
什么是RabbitMQ
分布式·rabbitmq
天冬忘忧1 小时前
Spark 的Standalone集群环境安装与测试
大数据·spark
LKID体1 小时前
Elasticsearch核心概念
大数据·elasticsearch·搜索引擎
晨欣1 小时前
Elasticsearch里的索引index是什么概念?(ChatGPT回答)
大数据·elasticsearch·jenkins
孤蓬&听雨1 小时前
Kafka自动生产消息软件(自动化测试Kafka)
分布式·kafka·自动化·测试·生产者
kejijianwen1 小时前
Soul App创始人张璐团队自研多模态大模型,亮相GITEX GLOBAL获好评
大数据
B站计算机毕业设计超人1 小时前
计算机毕业设计Hadoop+大模型地震预测系统 地震数据分析可视化 地震爬虫 大数据毕业设计 Spark 机器学习 深度学习 Flink 大数据
大数据·hadoop·爬虫·深度学习·机器学习·数据分析·课程设计
Mephisto.java2 小时前
【大数据学习 | kafka】producer之拦截器,序列化器与分区器
大数据·学习·kafka