【自学笔记】Spark基础知识点总览-持续更新

提示:文章写完后,目录可以自动生成,如何生成可参考右边的帮助文档

文章目录


Apache Spark基础知识点总览

目录

  1. 简介
  2. 核心组件
  3. [Spark SQL](#Spark SQL)
  4. [DataFrame与Dataset API](#DataFrame与Dataset API)
  5. RDD(弹性分布式数据集)\](#rdd(弹性分布式数据集))

  6. MLlib(机器学习库)\](#mllib(机器学习库))

  7. 部署模式
  8. 示例代码

简介

Apache Spark是一个开源的分布式计算系统,旨在提供快速、通用的大规模数据处理和分析能力。它构建在Hadoop之上,但提供了比Hadoop MapReduce更丰富的数据处理方式,包括批处理、流处理、交互式查询和机器学习等。

核心组件

  • Driver Program:运行应用程序的主函数,负责创建SparkContext,并与Cluster Manager通信以申请资源。
  • Cluster Manager:在集群上获取资源的外部服务(如YARN、Mesos、Kubernetes或Spark自带的Standalone模式)。
  • Worker Node:运行应用程序代码的数据节点。
  • Executor:在Worker Node上为应用程序启动的进程,负责运行任务,并将结果返回给Driver。

Spark SQL

Spark SQL是Spark的一个模块,用于结构化数据的处理。它提供了一个DataFrame API,允许开发者以类似SQL的方式处理数据。

DataFrame与Dataset API

  • DataFrame:一个分布式数据集合,类似于关系数据库中的表或Python中的pandas DataFrame。
  • Dataset:DataFrame的扩展,提供了类型安全的操作。

RDD(弹性分布式数据集)

RDD是Spark中最基本的数据处理模型,是一个不可变的、分布式的数据集合。RDD允许用户进行低级别的数据操作,提供了丰富的转换(transformation)和动作(action)操作。

Spark Streaming

Spark Streaming是Spark的一个组件,用于处理实时数据流。它允许开发者以类似于批处理的方式处理实时数据,提供了高吞吐量和容错性。

MLlib(机器学习库)

MLlib是Spark的机器学习库,提供了常见的机器学习算法和工具,包括分类、回归、聚类、协同过滤等。

GraphX(图处理框架)

GraphX是Spark的图处理框架,提供了图数据的创建、转换和查询功能,适用于社交网络分析、推荐系统等应用场景。

部署模式

Spark支持多种部署模式,包括:

  • Local Mode:在单机上运行Spark。
  • Standalone Mode:使用Spark自带的集群管理器。
  • YARN:Hadoop的资源管理器。
  • Mesos:一个开源的集群管理器。
  • Kubernetes:容器编排平台。

示例代码

创建SparkContext

python 复制代码
from pyspark import SparkContext, SparkConf

conf = SparkConf().setAppName("MyApp").setMaster("local[*]")
sc = SparkContext(conf=conf)

创建RDD并执行操作

python 复制代码
data = [1, 2, 3, 4, 5]
rdd = sc.parallelize(data)
result = rdd.map(lambda x: x * 2).collect()
print(result)  # 输出: [2, 4, 6, 8, 10]

使用DataFrame API

python 复制代码
from pyspark.sql import SparkSession

spark = SparkSession.builder.appName("MyApp").getOrCreate()
df = spark.createDataFrame([(1, "Alice"), (2, "Bob")], ["id", "name"])
df.show()

使用Spark SQL

python 复制代码
df.createOrReplaceTempView("people")
result = spark.sql("SELECT name FROM people WHERE id = 1")
result.show()

总结

提示:这里对文章进行总结:

例如:以上就是今天要讲的内容,自学记录Spark基础知识点总览。

相关推荐
G皮T1 分钟前
【Elasticsearch】深度分页及其替代方案
大数据·elasticsearch·搜索引擎·scroll·检索·深度分页·search_after
TDengine (老段)41 分钟前
TDengine STMT2 API 使用指南
java·大数据·物联网·时序数据库·iot·tdengine·涛思数据
华子w9089258592 小时前
基于 Python Django 和 Spark 的电力能耗数据分析系统设计与实现7000字论文实现
python·spark·django
用户Taobaoapi20142 小时前
母婴用品社媒种草效果量化:淘宝详情API+私域转化追踪案例
大数据·数据挖掘·数据分析
kikikidult2 小时前
(2025.07)解决——ubuntu20.04系统开机黑屏,左上角光标闪烁
笔记·ubuntu
近津薪荼2 小时前
初学者关于数据在内存中的储存的笔记
笔记
G皮T3 小时前
【Elasticsearch】检索排序 & 分页
大数据·elasticsearch·搜索引擎·排序·分页·检索·深度分页
碎叶城李白4 小时前
若依学习笔记1-validated
java·笔记·学习·validated
HuashuiMu花水木6 小时前
PyTorch笔记1----------Tensor(张量):基本概念、创建、属性、算数运算
人工智能·pytorch·笔记
小新学习屋6 小时前
Spark从入门到熟悉(篇三)
大数据·分布式·spark