hadoop中spark基本介绍

Spark是一个基于内存计算的快速、通用、可扩展的大数据处理引擎,可与Hadoop集成并在其生态系统中发挥重要作用。以下是其基本介绍:

特点

  • 快速:基于内存计算,能将中间结果缓存在内存中,避免频繁读写磁盘,大大提高处理速度。同时采用了优化的执行计划和高效的调度算法。

  • 易用:提供了丰富的API,支持Java、Scala、Python和R等多种编程语言,方便开发者进行数据处理和分析。

  • 通用:不仅可以进行批处理,还能支持交互式查询、流计算、机器学习、图计算等多种计算模式,是一个多用途的大数据处理平台。

  • 可扩展:能够轻松地扩展到大规模集群上运行,通过增加节点可以线性地提高计算能力,以处理海量的数据。

核心架构

  • Driver Program:负责创建SparkContext,定义RDD(弹性分布式数据集)操作,并将任务发送到集群中执行。

  • SparkContext:是Spark应用程序的入口点,负责与集群管理器(如Hadoop YARN)进行通信,管理集群资源,创建RDD、累加器和广播变量等。

  • RDD:是Spark的核心数据结构,代表一个不可变的、可分区的、分布式的数据集。RDD支持两种操作:转换(如map、filter等)和行动(如count、collect等)。

  • Executor:是在工作节点上启动的进程,负责执行任务并将结果返回给Driver。每个Executor都有自己的内存空间,用于缓存RDD数据和执行任务。

运行模式

  • Standalone:独立运行模式,Spark集群自己管理资源,不依赖其他集群管理器。

  • YARN:与Hadoop的YARN集成,由YARN负责资源管理和调度,Spark应用程序作为YARN的一个应用运行在集群上。

  • Mesos:与Mesos集群管理器集成,Mesos负责管理集群资源,为Spark应用程序分配资源。

应用场景

  • 批处理:可高效处理大规模的批数据,如ETL(提取、转换、加载)操作、数据仓库的构建等。

  • 交互式查询:支持快速的交互式查询,用户可以在命令行或笔记本环境中实时查询和分析数据。

  • 流计算:通过Spark Streaming可以处理实时流数据,实现

相关推荐
LiRuiJie20 小时前
基于Hadoop3.3.4+Flink1.17.0+FlinkCDC3.0.0+Iceberg1.5.0整合,实现数仓实时同步mysql数据
大数据·hadoop·flink·iceberg·flinkcdc
cici1587420 小时前
Docker搭建Hadoop集群
hadoop·docker·eureka
码字的字节2 天前
ZooKeeper在Hadoop中的协同应用:从NameNode选主到分布式锁实现
hadoop·分布式·zookeeper·分布式锁
码字的字节3 天前
深入解析YARN中的FairScheduler与CapacityScheduler:资源分配策略的核心区别
hadoop·capacity·fairscheduler
Johny_Zhao3 天前
Centos8搭建hadoop高可用集群
linux·hadoop·python·网络安全·信息安全·云计算·shell·yum源·系统运维·itsm
码字的字节4 天前
深入解析Hadoop高频面试题:HDFS读/写流程的RPC调用链
hadoop·hdfs·rpc
白日与明月4 天前
Hive-vscode-snippets
hive·hadoop·vscode
Sirius Wu4 天前
Hive的窗口函数
数据仓库·hive·hadoop
码字的字节4 天前
深入解析HBase如何保证强一致性:WAL日志与MVCC机制
hadoop·hbase·wal·mvcc
zhixingheyi_tian4 天前
Hadoop 之 Yarn
大数据·hadoop·分布式