<class ‘pyspark.sql.dataframe.DataFrame‘>

在 PySpark 中,DataFrame 是一个分布式数据集,类似于 Pandas 中的 DataFrame。DataFrame 提供了许多内置的方法来帮助你处理数据。以下是一些常用的 DataFrame 方法及其简要说明:

1、数据查询和选择

  1. select()

    • 选择 DataFrame 中的一个或多个列。
    • 示例:df.select("column1", "column2")
  2. selectExpr()

    • 使用 SQL 表达式选择列。
    • 示例:df.selectExpr("column1 as new_column_name", "column2 + 1 as incremented_column")
  3. where()filter()

    • 根据条件过滤行。
    • 示例:df.where(col("age") > 30)df.filter(col("age") > 30)
  4. groupBy()

    • 对 DataFrame 进行分组,并执行聚合操作。
    • 示例:df.groupBy("city").agg(count("*").alias("count"), sum("age").alias("total_age"))
  5. orderBy()sort()

    • 对 DataFrame 的行进行排序。
    • 示例:df.orderBy(col("age").desc())
  6. distinct()

    • 返回去重后的 DataFrame。
    • 示例:df.distinct()
  7. dropDuplicates()drop_duplicates()

    • 根据某些列去重。
    • 示例:df.dropDuplicates(["column1"])
  8. head()

    • 获取 DataFrame 的前几行。
    • 示例:df.head(5)
  9. show()

    • 显示 DataFrame 的内容。
    • 示例:df.show()
  10. collect()

    • 将 DataFrame 的内容收集到驱动程序内存中。
    • 示例:df.collect()

2、数据转换

  1. withColumn()

    • 添加或更新 DataFrame 中的列。
    • 示例:df.withColumn("new_column", col("old_column") + 1)
  2. withColumnRenamed()

    • 重命名 DataFrame 中的列。
    • 示例:df.withColumnRenamed("old_column_name", "new_column_name")
  3. drop()

    • 删除 DataFrame 中的列。
    • 示例:df.drop("column_to_drop")
  4. fillna()na.fill()

    • 替换 DataFrame 中的空值。
    • 示例:df.fillna(0)df.na.fill(0)
  5. replace()

    • 替换 DataFrame 中的值。
    • 示例:df.replace("old_value", "new_value")

3、数据连接

  1. join()

    • 连接两个 DataFrame。
    • 示例:df1.join(df2, "common_column", "inner")
  2. union()

    • 合并两个 DataFrame。
    • 示例:df1.union(df2)
  3. subtract()

    • 从一个 DataFrame 中减去另一个 DataFrame 的行。
    • 示例:df1.subtract(df2)
  4. intersect()

    • 获取两个 DataFrame 的交集。
    • 示例:df1.intersect(df2)

4、数据读写

  1. write

    • 将 DataFrame 写入文件或数据库。
    • 示例:df.write.csv("path/to/directory")
  2. read

    • 从文件或数据库读取数据并创建 DataFrame。
    • 示例:spark.read.csv("path/to/directory")
  3. saveAsTable()

    • 将 DataFrame 保存为 Hive 表。
    • 示例:df.saveAsTable("my_table")
  4. createOrReplaceTempView()

    • 将 DataFrame 注册为临时视图。
    • 示例:df.createOrReplaceTempView("my_temp_view")
  5. createOrReplaceGlobalTempView()

    • 将 DataFrame 注册为全局临时视图。
    • 示例:df.createOrReplaceGlobalTempView("my_global_temp_view")

5、其他实用方法

  1. cache()

    • 缓存 DataFrame 以加快后续操作的速度。
    • 示例:df.cache()
  2. persist()

    • 持久化 DataFrame 以提高性能。
    • 示例:df.persist()df.persist(StorageLevel.MEMORY_AND_DISK)
  3. count()

    • 计算 DataFrame 中的行数。
    • 示例:df.count()
  4. describe()

    • 描述 DataFrame 中的统计信息。
    • 示例:df.describe()
  5. explain()

    • 显示 DataFrame 的逻辑和物理执行计划。
    • 示例:df.explain()

这些方法可以帮助进行数据处理、清洗、转换和分析。

相关推荐
Mephisto.java3 小时前
【大数据学习 | Spark-Core】Spark提交及运行流程
大数据·学习·spark
PersistJiao13 小时前
在 Spark RDD 中,sortBy 和 top 算子的各自适用场景
大数据·spark·top·sortby
lzhlizihang13 小时前
python如何使用spark操作hive
hive·python·spark
Mephisto.java14 小时前
【大数据学习 | Spark】Spark的改变分区的算子
大数据·elasticsearch·oracle·spark·kafka·memcache
zhixingheyi_tian19 小时前
Spark 之 Aggregate
大数据·分布式·spark
PersistJiao19 小时前
Spark 分布式计算中网络传输和序列化的关系(一)
大数据·网络·spark
PersistJiao1 天前
Spark 分布式计算中网络传输和序列化的关系(二)
大数据·网络·spark·序列化·分布式计算
PersistJiao1 天前
Spark RDD 的宽依赖和窄依赖
spark·rdd·宽窄依赖
那一抹阳光多灿烂1 天前
Spark中的Stage概念
大数据·spark
lisacumt2 天前
【spark】pycharm 内使用pyspark连接有kerberos集群执行sql
python·pycharm·spark