从0开始学习pyspark--pyspark的核心概念[第0节]

在学习 PySpark时会遇到很多新的关键词,理解这些概念,对我们学习PySpark有极大的帮助,以下是一些PySpark的关键概念及其详细解释:

1. PySpark

PySpark是Apache Spark的Python API。Spark是一个用于大规模数据处理的开源分布式计算系统,支持内存计算和基于磁盘的数据处理,具有高性能和可扩展性。

2. SparkContext (SC)

SparkContext是所有Spark功能的入口点。它是Spark应用的主控对象,用于连接到集群并创建RDD(Resilient Distributed Datasets)。

3. Resilient Distributed Dataset (RDD)

RDD是Spark的核心抽象,是一个不可变的分布式数据集合。RDD支持两种操作:Transformations (如map, filter)和Actions (如count, collect)。

4. DataFrame

DataFrame是Spark SQL中的一个分布式数据集合,类似于Pandas的DataFrame。DataFrame有更高层次的抽象,相比于RDD提供了更多优化和更简单的API。

5. Spark SQL

Spark SQL是Spark中处理结构化数据的组件,允许你使用SQL查询DataFrame和RDD。它还支持从多种数据源读取数据,如JSON、Parquet、JDBC等。

6. SparkSession

SparkSession是用于与Spark交互的新的入口点,它整合了SparkContext、SQLContext、HiveContext的功能。你可以通过SparkSession创建DataFrame和执行SQL查询。

python 复制代码
from pyspark.sql import SparkSession

spark = SparkSession.builder \
    .appName("example") \
    .getOrCreate()

7. Transformations

Transformations是对RDD的惰性操作(lazy operations),即不会立即计算结果,而是生成一个新的RDD。当需要执行一个Action时,Spark才会开始计算。常见的Transformations包括:

  • map(func): 对RDD中的每个元素应用函数func,并返回一个新的RDD。
  • filter(func): 保留RDD中使函数func返回True的元素,返回一个新的RDD。
  • flatMap(func): 类似于map,但每个输入元素可以映射到0个或多个输出元素。

8. Actions

Actions是对RDD的操作,会触发计算并返回结果。常见的Actions包括:

  • collect(): 返回RDD中所有元素的列表。
  • count(): 返回RDD中元素的个数。
  • first(): 返回RDD中的第一个元素。

9. Lazy Evaluation

PySpark使用惰性求值(Lazy Evaluation),即Transformations不会立即执行,而是记录下需要进行的操作。当执行一个Action时,Spark会根据需要生成执行计划并优化执行。

10. Spark SQL and DataFrames

Spark SQL支持通过SQL语句查询数据,并且可以与DataFrame API无缝集成。

python 复制代码
df = spark.read.json("example.json")
df.createOrReplaceTempView("example")
result = spark.sql("SELECT * FROM example WHERE age > 21")

11. Spark Streaming

Spark Streaming用于实时处理数据流,支持从多种数据源读取数据,如Kafka、Flume、Kinesis等。它将实时数据流分成小批次进行处理,并提供类似于RDD的API。

12. Machine Learning Library (MLlib)

MLlib是Spark的机器学习库,提供了多种机器学习算法和工具,如分类、回归、聚类、协同过滤等。

13. GraphX

GraphX是Spark的图计算库,提供了图算法和图操作的API,用于处理大规模图数据。

14. Spark的集群模式

Spark支持多种集群模式,包括本地模式、Standalone模式、YARN模式和Mesos模式。不同的模式适用于不同的应用场景和集群配置。

相关推荐
wuyk5554 小时前
Python办公自动化-第01讲-环境搭建与自动化认知
python·自动化·pyqt
大大大大晴天5 小时前
浅聊维度建模中的星型模型与雪花模型
大数据
高洁015 小时前
数字孪生与计算机视觉:让机器看懂现场
人工智能·python·机器学习·transformer·迁移学习
ComPDFKit5 小时前
RAG 回答只显示 PDF 文件名?用 Python 保留引用页码
开发语言·python·pdf·rag
yz_aiks7 小时前
Termux 使用教程:把安卓手机变成随身 Linux(装 Python、SSH 远程、跑自动化脚本)
android·linux·python·智能手机·ssh·termux
2601_967980119 小时前
Flask Web 应用
python·flask·web开发·环境变量·虚拟环境
aifannihao9 小时前
ß 大写变 SS:用 Python 算清 Ruby2Shell 的缓冲区账本
python·安全·标准库·缓冲区溢出·字符串编码
liwulin05069 小时前
【OLLAMA】调用SKILL的通用ReAct
python
数字新视界9 小时前
能耗管理系统提升企业能源效率的实践与展望
大数据·人工智能·数据中心·机房管理·模块化机房
大大大大晴天10 小时前
别让金额越算越多:事实表与维度表设计避坑指南
大数据