spark 精华总结

面试题: Hadoop 的基于进程的计算和 Spark 基于线程方式优缺点?
答案: Hadoop中的MR中每个map/reduce task都是一个java进程方式运行,好处在于进程之间是互相独立的,每个task独享进程资源,没
有互相干扰,监控方便,但是问题在于task之间不方便共享数据,执行效率比较低。比如多个map task读取不同数据源文件需要将数据源加
载到每个map task中,造成重复加载和浪费内存。而基于线程的方式计算是为了数据共享和提高执行效率,Spark采用了线程的最小的执行
单位,但缺点是线程之间会有资源竞争。
【扩展阅读】:线程基本概念
线程是 CPU 的基本调度单位
一个进程一般包含多个线程 , 一个进程下的多个线程共享进程的资源
不同进程之间的线程相互不可见
线程不能独立执行
一个线程可以创建和撤销另外一个线程
速度快
由于Apache Spark支持内存计算,并且通过DAG(有向无环图)执行引擎支持无环数据流,所以官方宣称其在内存中的运算速度要比
Hadoop的MapReduce快100倍,在硬盘中要快10倍
Spark 处理数据与 MapReduce 处理数据相比,有如下两个不同点:
其一、 Spark 处理数据时,可以将中间处理结果数据存储到内存中;
其二、 Spark 提供了非常丰富的算子 (API), 可以做到复杂任务在一个 Spark 程序中完成
易于使用
Spark 的版本已经更新到 Spark 3.2.0(截止日期2021.10.13),支持了包括 Java、Scala、Python 、R和SQL语言在内的多种语言。为了
兼容Spark2.x企业级应用场景,Spark仍然持续更新Spark2版本。
通用性强
在 Spark 的基础上,Spark 还提供了包括Spark SQL、Spark Streaming、MLib 及GraphX在内的多个工具库,我们可以在一个应用中无缝
地使用这些工具库
Spark Core : Spark 的核心, Spark 核心功能均由 Spark Core 模块提供,是 Spark 运行的基础。 Spark Core 以 RDD 为数据抽象,提供 Python 、 Java 、
Scala 、 R 语言的 API ,可以编程进行海量离线数据批处理计算。
SparkSQL :基于 SparkCore 之上,提供结构化数据的处理模块。 SparkSQL 支持以 SQL 语言对数据进行处理, SparkSQL 本身针对离线计算场景。同
时基于 SparkSQL , Spark 提供了 StructuredStreaming 模块,可以以 SparkSQL 为基础,进行数据的流式计算。
SparkStreaming :以 SparkCore 为基础,提供数据的流式计算功能。
MLlib :以 SparkCore 为基础,进行机器学习计算,内置了大量的机器学习库和 API 算法等。方便用户以分布式计算的模式进行机器学习计算。
GraphX :以 SparkCore 为基础,进行图计算,提供了大量的图计算 API ,方便用于以分布式计算模式进行图计算。
Spark提供多种运行模式,包括:
 本地模式(单机)
本地模式就是以一个 独立的进程 ,通过其内部的 多个线程来模拟 整个Spark运行时环境
 Standalone模式(集群)
Spark中的各个角色以 独立进程 的形式存在,并组成Spark集群环境
 Hadoop YARN模式(集群)
Spark中的各个角色 运行在 YARN 的容器内部 ,并组成Spark集群环境

  • Kubernetes模式(容器集群)
    Spark中的各个角色 运行在 Kubernetes 的容器内部 ,并组成Spark集群环境
  • 云服务模式(运行在云平台上)
相关推荐
青云交6 分钟前
大数据新视界 -- 大数据大厂之 Impala 性能优化:跨数据中心环境下的挑战与对策(上)(27 / 30)
大数据·性能优化·impala·案例分析·代码示例·跨数据中心·挑战对策
张彦峰ZYF32 分钟前
投资策略规划最优决策分析
分布式·算法·金融
soso196842 分钟前
DataWorks快速入门
大数据·数据仓库·信息可视化
The_Ticker1 小时前
CFD平台如何接入实时行情源
java·大数据·数据库·人工智能·算法·区块链·软件工程
java1234_小锋1 小时前
Elasticsearch中的节点(比如共20个),其中的10个选了一个master,另外10个选了另一个master,怎么办?
大数据·elasticsearch·jenkins
Elastic 中国社区官方博客1 小时前
Elasticsearch 开放推理 API 增加了对 IBM watsonx.ai Slate 嵌入模型的支持
大数据·数据库·人工智能·elasticsearch·搜索引擎·ai·全文检索
我的运维人生1 小时前
Elasticsearch实战应用:构建高效搜索与分析平台
大数据·elasticsearch·jenkins·运维开发·技术共享
大数据编程之光1 小时前
Flink Standalone集群模式安装部署全攻略
java·大数据·开发语言·面试·flink
B站计算机毕业设计超人1 小时前
计算机毕业设计SparkStreaming+Kafka旅游推荐系统 旅游景点客流量预测 旅游可视化 旅游大数据 Hive数据仓库 机器学习 深度学习
大数据·数据仓库·hadoop·python·kafka·课程设计·数据可视化
processflow流程图3 小时前
分布式kettle调度平台v6.4.0新功能介绍
分布式