Spark论述及其作用

(一)Spark概述

Spark是一种基于内存的快速、通用、可拓展的大数据分析计算引擎。Hadoop是一个分布式系统基础架构。

( 二 ) 为什么我们需要Spark

它处理速快,提供了更加简洁、高层的编程模型,提供了强大的实时数据处理能力,它可以将实时数据流分割成小的批次进行处理,实现准实时的数据分析。

(三)Spark的运行模式

Spark集群大体上分为两种模式:单机模式(Local模式)与集群模式。

如果资源(cpu,内存)是当前单节点提供的,那么称之为单机模式。

如果资源(cpu,内存)是当前多节点提供的,那么称之为分布式模式。

大多数分布式框架都支持单机模式:就是运行在一台计算机上的模式,方便开发者调试框架的 运 行环境。但是在生产环境中,并不会使用单机模式。因此,后续直接按照集群模式部署Spark集群。

(四)Spark引擎特点

  1. 快速高效的计算引擎

    采用内存计算和DAG(有向无环图)优化技术,相比传统MapReduce性能提升数十倍至百倍,适用于迭代算法和实时处理。

  2. 统一的多模式处理框架

    支持批处理、实时流处理(微批及结构化流)、交互式查询、机器学习(MLlib)和图计算(GraphX),实现"一站式"大数据处理。

  3. 弹性分布式数据集(RDD)

    核心数据抽象结构,具备自动容错(通过Lineage血缘追溯)、并行处理及内存持久化能力,支持复杂数据操作。

  4. 丰富的API与开发友好性

    提供Scala、Java、Python、R等多语言API,以及高阶DataFrame/Dataset接口,简化代码编写,支持SQL、流式SQL等高级操作。

  5. 强大的生态系统与扩展性

    包含Spark SQL(结构化数据)、MLlib(机器学习)、Spark Streaming(流处理)、GraphX(图计算)等组件,无缝集成Hadoop、Hive、Kafka等工具。

  6. 灵活部署与资源管理

    可运行于独立集群、YARN、Kubernetes或Mesos,支持本地和云端环境,兼容HDFS、S3等多种存储系统,适应多样化基础设施需求。

相关推荐
大大大大晴天14 小时前
每天认识一个组件:VictoriaLogs
大数据
jaysee-sjc16 小时前
【黑马点评】Day02:优惠券秒杀与分布式锁
java·分布式·nginx·spring·node.js·tomcat·maven
学长毕设17 小时前
基于SpringBoot 博物馆文物租赁及修复管理系统-附源码
大数据·数据库·spring boot
玖米GEO运营王总监19 小时前
成都AI数字人视频怎么批量生产?流程与合规标注
大数据·人工智能·音视频
龙腾AI白云20 小时前
数字孪生与计算机视觉:让机器看懂现场
大数据·数据库·机器学习·知识图谱·pygame
starzy19901 天前
Structured Streaming 案例剖析:一个 8 万 QPS 实时大屏的完整落地与三次线上事故复盘
大数据·spark
大大大大晴天1 天前
浅聊维度建模中的星型模型与雪花模型
大数据
数字新视界2 天前
能耗管理系统提升企业能源效率的实践与展望
大数据·人工智能·数据中心·机房管理·模块化机房
大大大大晴天2 天前
别让金额越算越多:事实表与维度表设计避坑指南
大数据
如夏倾城2 天前
入侵检测系统(IDS)原理、部署模式与 IPS/防火墙对比
大数据·网络·人工智能·网络安全·云原生·架构·kubernetes