pyspark执行group by操作

前情提要

在处理亿级别数据时,常常输入是hive表,因此需要在pypark流程中引入一些场景sql操作,其中group by就是比较常见的操作。

基础步骤

  1. 创建SparkSession:通过enableHiveSupport()方法启用Hive支持,确保能够访问Hive表。
  2. 加载数据:使用spark.sql()方法从Hive表中加载数据到DataFrame。
  3. 分组聚合操作:使用groupBy方法按field1和field2进行分组,并使用agg方法结合sum函数对field3进行求和操作。alias方法用于为聚合结果指定别名。
  4. 显示结果:使用show方法显示聚合结果。
  5. 停止SparkSession:最后停止SparkSession以释放资源。通常该步骤不需要,但是在例行化任务中,会偶发任务已执行完成,但是仍然占用资源情况,所以该步骤最好加上

代码展示

python 复制代码
from pyspark.sql import SparkSession
from pyspark.sql.functions import sum

# 创建SparkSession并启用Hive支持
spark = SparkSession.builder \
    .appName("GroupByExample") \
    .enableHiveSupport() \
    .getOrCreate()

# 假设已在Hive中创建了一个名为your_table_name的表
# 该表有字段: field1, field2, field3

# 从Hive表中加载数据
df = spark.sql("SELECT * FROM your_table_name")

# 使用groupBy和sum函数进行分组聚合操作
result_df = df.groupBy("field1", "field2").agg(sum("field3").alias("sum_field3"))

# 显示结果
result_df.show()

# 停止SparkSession
spark.stop()
相关推荐
B站_计算机毕业设计之家19 小时前
基于大数据的短视频数据分析系统 Spark哔哩哔哩视频数据分析可视化系统 Hadoop大数据技术 情感分析 舆情分析 爬虫 推荐系统 协同过滤推荐算法 ✅
大数据·hadoop·爬虫·spark·音视频·短视频·1024程序员节
面向星辰21 小时前
day07 spark sql
大数据·sql·spark
智海观潮1 天前
聊聊Spark的分区
java·大数据·spark
绿算技术2 天前
绿算GP Spark引爆关注,成为AI工厂存储利器
大数据·人工智能·spark
uesowys3 天前
Apache Spark算法开发指导-特征转换Interaction
spark·特征转换interaction
扫地的小何尚3 天前
AI创新的火花:NVIDIA DGX Spark开箱与深度解析
大数据·人工智能·spark·llm·gpu·nvidia·dgx
B站_计算机毕业设计之家3 天前
spark实战:python股票数据分析可视化系统 Flask框架 金融数据分析 Echarts可视化 大数据技术 ✅
大数据·爬虫·python·金融·数据分析·spark·股票
可惜我是水瓶座__3 天前
[Spark] TaskMetrics指标收集
spark·1024程序员节
hzp6663 天前
spark动态分区参数spark.sql.sources.partitionOverwriteMode
大数据·hive·分布式·spark·etl·partitionover
菜鸡儿齐5 天前
spark组件-spark sql-读取数据
大数据·sql·spark