从0开始学习pyspark--pyspark的核心概念[第0节]

在学习 PySpark时会遇到很多新的关键词,理解这些概念,对我们学习PySpark有极大的帮助,以下是一些PySpark的关键概念及其详细解释:

1. PySpark

PySparkApache Spark的Python API。Spark是一个用于大规模数据处理的开源分布式计算系统,支持内存计算和基于磁盘的数据处理,具有高性能和可扩展性。

2. SparkContext (SC)

SparkContext是所有Spark功能的入口点。它是Spark应用的主控对象,用于连接到集群并创建RDD(Resilient Distributed Datasets)。

3. Resilient Distributed Dataset (RDD)

RDDSpark的核心抽象,是一个不可变的分布式数据集合。RDD支持两种操作:Transformations (如map, filter)和Actions (如count, collect)。

4. DataFrame

DataFrameSpark SQL中的一个分布式数据集合,类似于PandasDataFrameDataFrame有更高层次的抽象,相比于RDD提供了更多优化和更简单的API

5. Spark SQL

Spark SQLSpark中处理结构化数据的组件,允许你使用SQL查询DataFrameRDD。它还支持从多种数据源读取数据,如JSONParquetJDBC等。

6. SparkSession

SparkSession是用于与Spark交互的新的入口点,它整合了SparkContextSQLContextHiveContext的功能。你可以通过SparkSession创建DataFrame和执行SQL查询。

python 复制代码
from pyspark.sql import SparkSession

spark = SparkSession.builder \
    .appName("example") \
    .getOrCreate()

7. Transformations

Transformations是对RDD的惰性操作(lazy operations),即不会立即计算结果,而是生成一个新的RDD。当需要执行一个Action时,Spark才会开始计算。常见的Transformations包括:

  • map(func): 对RDD中的每个元素应用函数func,并返回一个新的RDD
  • filter(func): 保留RDD中使函数func返回True的元素,返回一个新的RDD
  • flatMap(func): 类似于map,但每个输入元素可以映射到0个或多个输出元素。

8. Actions

Actions是对RDD的操作,会触发计算并返回结果。常见的Actions包括:

  • collect(): 返回RDD中所有元素的列表。
  • count(): 返回RDD中元素的个数。
  • first(): 返回RDD中的第一个元素。

9. Lazy Evaluation

PySpark使用惰性求值(Lazy Evaluation),即Transformations不会立即执行,而是记录下需要进行的操作。当执行一个Action时,Spark会根据需要生成执行计划并优化执行。

10. Spark SQL and DataFrames

Spark SQL支持通过SQL语句查询数据,并且可以与DataFrame API无缝集成。

python 复制代码
df = spark.read.json("example.json")
df.createOrReplaceTempView("example")
result = spark.sql("SELECT * FROM example WHERE age > 21")

11. Spark Streaming

Spark Streaming用于实时处理数据流,支持从多种数据源读取数据,如KafkaFlumeKinesis等。它将实时数据流分成小批次进行处理,并提供类似于RDD的API。

12. Machine Learning Library (MLlib)

MLlibSpark的机器学习库,提供了多种机器学习算法和工具,如分类、回归、聚类、协同过滤等。

13. GraphX

GraphXSpark的图计算库,提供了图算法和图操作的API,用于处理大规模图数据。

14. Spark的集群模式

Spark支持多种集群模式,包括本地模式Standalone模式YARN模式Mesos模式。不同的模式适用于不同的应用场景和集群配置。

相关推荐
Lx3521 天前
复杂MapReduce作业设计:多阶段处理的最佳实践
大数据·hadoop
数据智能老司机1 天前
精通 Python 设计模式——分布式系统模式
python·设计模式·架构
武子康1 天前
大数据-100 Spark DStream 转换操作全面总结:map、reduceByKey 到 transform 的实战案例
大数据·后端·spark
数据智能老司机1 天前
精通 Python 设计模式——并发与异步模式
python·设计模式·编程语言
数据智能老司机1 天前
精通 Python 设计模式——测试模式
python·设计模式·架构
数据智能老司机1 天前
精通 Python 设计模式——性能模式
python·设计模式·架构
c8i1 天前
drf初步梳理
python·django
每日AI新事件1 天前
python的异步函数
python
expect7g1 天前
Flink KeySelector
大数据·后端·flink
这里有鱼汤1 天前
miniQMT下载历史行情数据太慢怎么办?一招提速10倍!
前端·python