Spark论述及其作用

(一)Spark概述

Spark是一种基于内存的快速、通用、可拓展的大数据分析计算引擎。Hadoop是一个分布式系统基础架构。

为什么我们需要Spark

它处理速快,提供了更加简洁、高层的编程模型,提供了强大的实时数据处理能力,它可以将实时数据流分割成小的批次进行处理,实现准实时的数据分析。

(三)Spark的运行模式

Spark集群大体上分为两种模式:单机模式(Local模式)与集群模式。

如果资源(cpu,内存)是当前单节点提供的,那么称之为单机模式。

如果资源(cpu,内存)是当前多节点提供的,那么称之为分布式模式。

大多数分布式框架都支持单机模式:就是运行在一台计算机上的模式,方便开发者调试框架的 运 行环境。但是在生产环境中,并不会使用单机模式。因此,后续直接按照集群模式部署Spark集群。

(四)Spark引擎特点

  1. 快速高效的计算引擎

    采用内存计算和DAG(有向无环图)优化技术,相比传统MapReduce性能提升数十倍至百倍,适用于迭代算法和实时处理。

  2. 统一的多模式处理框架

    支持批处理、实时流处理(微批及结构化流)、交互式查询、机器学习(MLlib)和图计算(GraphX),实现"一站式"大数据处理。

  3. 弹性分布式数据集(RDD)

    核心数据抽象结构,具备自动容错(通过Lineage血缘追溯)、并行处理及内存持久化能力,支持复杂数据操作。

  4. 丰富的API与开发友好性

    提供Scala、Java、Python、R等多语言API,以及高阶DataFrame/Dataset接口,简化代码编写,支持SQL、流式SQL等高级操作。

  5. 强大的生态系统与扩展性

    包含Spark SQL(结构化数据)、MLlib(机器学习)、Spark Streaming(流处理)、GraphX(图计算)等组件,无缝集成Hadoop、Hive、Kafka等工具。

  6. 灵活部署与资源管理

    可运行于独立集群、YARN、Kubernetes或Mesos,支持本地和云端环境,兼容HDFS、S3等多种存储系统,适应多样化基础设施需求。

相关推荐
小高不会迪斯科1 小时前
MIT 6.824学习心得(1) 浅谈分布式系统概论与MapReduce
大数据·mapreduce
TDengine (老段)1 小时前
使用 StatsD 向 TDengine 写入
java·大数据·数据库·时序数据库·iot·tdengine·涛思数据
Gauss松鼠会1 小时前
GaussDB权限管理:从RBAC到精细化控制的企业级安全实践
大数据·数据库·安全·database·gaussdb
时序数据说1 小时前
时序数据库IoTDB用户自定义函数(UDF)使用指南
大数据·数据库·物联网·开源·时序数据库·iotdb
大师兄带你刨AI2 小时前
「AI产业」| 《中国信通院&华为:智能体技术和应用研究报告》
大数据·人工智能
武子康2 小时前
大数据-31 ZooKeeper 内部原理 Leader选举 ZAB协议
大数据·后端·zookeeper
zkmall3 小时前
ZKmall模块商城批发电商平台搭建方案,多商户支持 + 订单管理功能全覆盖
大数据·人工智能
Edingbrugh.南空4 小时前
Flink Postgres CDC 环境配置与验证
大数据·flink
isNotNullX4 小时前
什么是数据分析?常见方法全解析
大数据·数据库·数据仓库·人工智能·数据分析
小袁拒绝摆烂5 小时前
ElasticSearch快速入门-1
大数据·elasticsearch·搜索引擎