hadoop中spark基本介绍

Spark是一个基于内存计算的快速、通用、可扩展的大数据处理引擎,可与Hadoop集成并在其生态系统中发挥重要作用。以下是其基本介绍:

特点

  • 快速:基于内存计算,能将中间结果缓存在内存中,避免频繁读写磁盘,大大提高处理速度。同时采用了优化的执行计划和高效的调度算法。

  • 易用:提供了丰富的API,支持Java、Scala、Python和R等多种编程语言,方便开发者进行数据处理和分析。

  • 通用:不仅可以进行批处理,还能支持交互式查询、流计算、机器学习、图计算等多种计算模式,是一个多用途的大数据处理平台。

  • 可扩展:能够轻松地扩展到大规模集群上运行,通过增加节点可以线性地提高计算能力,以处理海量的数据。

核心架构

  • Driver Program:负责创建SparkContext,定义RDD(弹性分布式数据集)操作,并将任务发送到集群中执行。

  • SparkContext:是Spark应用程序的入口点,负责与集群管理器(如Hadoop YARN)进行通信,管理集群资源,创建RDD、累加器和广播变量等。

  • RDD:是Spark的核心数据结构,代表一个不可变的、可分区的、分布式的数据集。RDD支持两种操作:转换(如map、filter等)和行动(如count、collect等)。

  • Executor:是在工作节点上启动的进程,负责执行任务并将结果返回给Driver。每个Executor都有自己的内存空间,用于缓存RDD数据和执行任务。

运行模式

  • Standalone:独立运行模式,Spark集群自己管理资源,不依赖其他集群管理器。

  • YARN:与Hadoop的YARN集成,由YARN负责资源管理和调度,Spark应用程序作为YARN的一个应用运行在集群上。

  • Mesos:与Mesos集群管理器集成,Mesos负责管理集群资源,为Spark应用程序分配资源。

应用场景

  • 批处理:可高效处理大规模的批数据,如ETL(提取、转换、加载)操作、数据仓库的构建等。

  • 交互式查询:支持快速的交互式查询,用户可以在命令行或笔记本环境中实时查询和分析数据。

  • 流计算:通过Spark Streaming可以处理实时流数据,实现

相关推荐
Francek Chen10 天前
【大数据处理与分析】数据仓库Hive:09 Hive 编程实践
大数据·数据仓库·hive·hadoop·sql
茶海棠13 天前
Hadoop+zookeeper+HBase+Kafka集群搭建全流程
hadoop·zookeeper·kafka·hbase
Gl�ria14 天前
Hadoop 速刷:HDFS / MR / YARN / Spark / Hive
hadoop·hdfs·mr
FserSuN14 天前
Hive 分区表存储与查询优化学习总结
hive·hadoop·学习
测试盐15 天前
spark作业日志定位过程
java·hadoop·spark
NiceZack16 天前
Hadoop 部署全流程教程:从新装 CentOS 到伪分布式与完全分布式
hadoop·分布式·centos
棣廷18 天前
初识Hive(2)
数据仓库·hive·hadoop
father_122719 天前
【ambari管理下hdp2.6.5升级hive1.2.1-2.1.0-2.3.3】
hive·hadoop·ambari
magic_kid_201019 天前
HDFS 故障复盘:千万级 block 导致 FBR 超过 128 MiB,DataNode 被判定为 dead
大数据·hadoop·hdfs·hadoop 故障
小刘在重生~20 天前
Servlet_day2 (上)|Servlet 整合 JDBC|请求转发 forward|Request 作用域
hive·hadoop·servlet