PySpark 小白教程 (二) PySpark SQL 简介

PySpark SQL 简介

PySpark 是 Apache Spark 的 Python API,允许通过 Python 脚本进行大数据处理和分析。PySpark SQL 是 PySpark 的一个模块,用于处理结构化数据。它提供了与 SQL 语法相似的 DataFrame API,使数据工程师和数据科学家能够轻松地执行各种数据操作。

入门指南

要开始使用 PySpark SQL,您需要先安装 PySpark。可以通过以下命令安装:

bash 复制代码
pip install pyspark

安装完成后,可以创建一个 SparkSession,这是所有 Spark 功能的入口点:

python 复制代码
from pyspark.sql import SparkSession

# 创建 SparkSession
spark = SparkSession.builder \
    .appName("PySpark SQL 基本操作") \
    .getOrCreate()
核心类

以下是 PySpark SQL 中的一些核心类:

  • SparkSession: 提供了与 Spark 交互的入口点。
  • DataFrame: 是分布式数据集,类似于关系数据库中的表。
  • Column: 代表 DataFrame 中的列,用于表达数据操作。
  • Row: 代表 DataFrame 中的行。
  • GroupData: 表示分组后的数据,允许对分组数据进行聚合操作。
基本操作
  1. 创建 DataFrame :

    可以从各种数据源(如 CSV、JSON、数据库等)创建 DataFrame:

    python 复制代码
    df = spark.read.csv("data.csv", header=True, inferSchema=True)
    df.show()
  2. 选择列 :

    使用 select 方法选择所需的列:

    python 复制代码
    df.select("name", "age").show()
  3. 过滤数据 :

    使用 filter 方法进行数据过滤:

    python 复制代码
    df.filter(df["age"] > 30).show()
  4. 分组聚合 :

    使用 groupByagg 方法进行数据分组和聚合:

    python 复制代码
    df.groupBy("department").agg({"salary": "avg"}).show()
  5. SQL 查询 :

    可以直接在 DataFrame 上执行 SQL 查询:

    python 复制代码
    df.createOrReplaceTempView("employees")
    spark.sql("SELECT * FROM employees WHERE age > 30").show()
SparkSession 常用方法
  • read: 读取数据源,生成 DataFrame。
  • readStream: 读取流数据源,生成流 DataFrame。
  • sql: 执行 SQL 查询。
  • createDataFrame: 从 RDD、列表等创建 DataFrame。
  • table: 访问临时或持久表。
DataFrame 常用方法
  • show: 显示 DataFrame 的内容。
  • select: 选择特定的列。
  • filter: 过滤行。
  • groupBy: 分组数据。
  • agg: 聚合操作。
  • join: 连接两个 DataFrame。

通过这些功能,PySpark SQL 提供了强大的工具来处理和分析大规模数据,使数据处理变得更加高效和灵活。

相关推荐
云动雨颤3 分钟前
Spring Boot配置优化:Tomcat+数据库+缓存+日志,全场景教程
数据库·spring boot·tomcat
RestCloud18 分钟前
Kafka实时数据管道:ETL在流式处理中的应用
数据库·kafka·api
懒虫虫~22 分钟前
通过内存去重替换SQL中distinct,优化SQL查询效率
java·sql·慢sql治理
逛逛GitHub41 分钟前
1 个神级智能问数工具,刚开源就 1500 Star 了。
sql·github
寻星探路1 小时前
数据库造神计划第九天---增删改查(CRUD)(5)
数据库
Alan521592 小时前
🚀 阿里云 ECS + MySQL 环境搭建全流程(用于个人博客系统开发)
数据库·程序员
Huhbbjs2 小时前
SQL 核心概念与实践总结
开发语言·数据库·sql
wuyunhang1234562 小时前
Redis---集群模式
数据库·redis·缓存
咋吃都不胖lyh2 小时前
SQL-字符串函数、数值函数、日期函数
sql