PySpark 小白教程 (二) PySpark SQL 简介

PySpark SQL 简介

PySpark 是 Apache Spark 的 Python API,允许通过 Python 脚本进行大数据处理和分析。PySpark SQL 是 PySpark 的一个模块,用于处理结构化数据。它提供了与 SQL 语法相似的 DataFrame API,使数据工程师和数据科学家能够轻松地执行各种数据操作。

入门指南

要开始使用 PySpark SQL,您需要先安装 PySpark。可以通过以下命令安装:

bash 复制代码
pip install pyspark

安装完成后,可以创建一个 SparkSession,这是所有 Spark 功能的入口点:

python 复制代码
from pyspark.sql import SparkSession

# 创建 SparkSession
spark = SparkSession.builder \
    .appName("PySpark SQL 基本操作") \
    .getOrCreate()
核心类

以下是 PySpark SQL 中的一些核心类:

  • SparkSession: 提供了与 Spark 交互的入口点。
  • DataFrame: 是分布式数据集,类似于关系数据库中的表。
  • Column: 代表 DataFrame 中的列,用于表达数据操作。
  • Row: 代表 DataFrame 中的行。
  • GroupData: 表示分组后的数据,允许对分组数据进行聚合操作。
基本操作
  1. 创建 DataFrame :

    可以从各种数据源(如 CSV、JSON、数据库等)创建 DataFrame:

    python 复制代码
    df = spark.read.csv("data.csv", header=True, inferSchema=True)
    df.show()
  2. 选择列 :

    使用 select 方法选择所需的列:

    python 复制代码
    df.select("name", "age").show()
  3. 过滤数据 :

    使用 filter 方法进行数据过滤:

    python 复制代码
    df.filter(df["age"] > 30).show()
  4. 分组聚合 :

    使用 groupByagg 方法进行数据分组和聚合:

    python 复制代码
    df.groupBy("department").agg({"salary": "avg"}).show()
  5. SQL 查询 :

    可以直接在 DataFrame 上执行 SQL 查询:

    python 复制代码
    df.createOrReplaceTempView("employees")
    spark.sql("SELECT * FROM employees WHERE age > 30").show()
SparkSession 常用方法
  • read: 读取数据源,生成 DataFrame。
  • readStream: 读取流数据源,生成流 DataFrame。
  • sql: 执行 SQL 查询。
  • createDataFrame: 从 RDD、列表等创建 DataFrame。
  • table: 访问临时或持久表。
DataFrame 常用方法
  • show: 显示 DataFrame 的内容。
  • select: 选择特定的列。
  • filter: 过滤行。
  • groupBy: 分组数据。
  • agg: 聚合操作。
  • join: 连接两个 DataFrame。

通过这些功能,PySpark SQL 提供了强大的工具来处理和分析大规模数据,使数据处理变得更加高效和灵活。

相关推荐
时序数据说20 分钟前
时序数据库的存储之道:从数据特性看技术要点
大数据·数据库·物联网·开源·时序数据库·iotdb
鸥梨菌Honevid1 小时前
QT解析文本框数据——概述
数据库·qt·mysql
今天又得骑车了1 小时前
一、MySQL 8.0 之《EXPLAIN ANALYZE 执行计划》
数据库·mysql·database
野犬寒鸦2 小时前
MyBatis-Plus 中使用 Wrapper 自定义 SQL
java·数据库·后端·sql·mybatis
我爱一条柴ya3 小时前
【AI大模型】RAG系统组件:向量数据库(ChromaDB)
数据库·人工智能·pytorch·python·ai·ai编程
北北~Simple3 小时前
第一次搭建数据库
服务器·前端·javascript·数据库
鸢想睡觉3 小时前
【数据库基础 1】MySQL环境部署及基本操作
数据库·mysql
没有口袋啦3 小时前
《数据库》MySQL备份回复
数据库
c7_ln3 小时前
MYSQL C_API使用全解
c语言·数据库·mysql
karry01303 小时前
高并发导致重复key问题--org.springframework.dao.DuplicateKeyException
java·数据库·ide