Spark DataFrame常见的Transformation和Actions详解

1. DataFrame 操作的类型划分及其常见方法

DataFrame 操作的类型划分及其常见方法:
不触发Action
触发Action
<<abstract>>
DataFrame操作
<<lazy>>
转换操作
+select()
+filter()
+where()
+groupBy()
+agg()
+orderBy()
+sort()
+distinct()
+drop()
+withColumn()
+withColumnRenamed()
+join()
+union()
+sample()
+repartition()
+coalesce()
+limit()
+rollup()
+cube()
+pivot()
<<eager>>
动作操作
+show()
+collect()
+count()
+take()
+head()
+first()
+foreach()
+save()
+write()
+toPandas()
+toJSON()
+toLocalIterator()
+printSchema()
+explain()
+cache()
+persist()

2. 表格表示

下表列出了常见的 DataFrame 操作及其是否触发 Action:

操作名称 类型 是否触发 Action 描述
select() 转换 否 选择指定列,返回新的 DataFrame
filter() / where() 转换 否 根据条件过滤行
groupBy() 转换 否 按指定列分组
agg() 转换 否 执行聚合操作
orderBy() / sort() 转换 否 按指定列排序
distinct() 转换 否 去重操作
drop() 转换 否 删除指定列
withColumn() 转换 否 添加或替换列
withColumnRenamed() 转换 否 重命名列
join() 转换 否 连接两个 DataFrame
union() 转换 否 合并两个 DataFrame
sample() 转换 否 随机采样
repartition() 转换 否 重新分区
coalesce() 转换 否 减少分区数
limit() 转换 否 限制返回行数
rollup() / cube() 转换 否 多维聚合
pivot() 转换 否 数据透视
show() 动作 是 显示前 n 行数据
collect() 动作 是 将所有数据收集到驱动程序
count() 动作 是 统计行数
take() 动作 是 取前 n 行数据
head() / first() 动作 是 取第一行或前几行数据
foreach() 动作 是 对每行应用函数
save() / write() 动作 是 将数据写入外部存储
toPandas() 动作 是 转换为 Pandas DataFrame
toJSON() 动作 是 转换为 JSON 格式
toLocalIterator() 动作 是 返回本地迭代器
printSchema() 动作 是 打印 schema 信息
explain() 动作 是 显示执行计划
cache() / persist() 动作 是 缓存 DataFrame

关键区别

  1. 转换操作(Transformations):

    • 惰性执行,不立即计算
    • 返回新的 DataFrame
    • 构建逻辑执行计划(DAG)
    • 需要动作操作触发实际执行
  2. 动作操作(Actions):

    • 立即触发计算
    • 返回具体结果或执行输出。注:某些操作如 printSchema()、explain() 虽然不返回计算结果,但仍属于动作操作,因为它们会触发 Spark 分析逻辑计划并返回信息。
    • 执行所有累积的转换操作
    • 可能涉及数据移动(如 collect())
相关推荐
回眸&啤酒鸭25 分钟前
【回眸】Hy4 模型效果展示与能力评测大纲
大数据·人工智能·机器学习
伞伞悦读1 小时前
【第86期】分类指标与错误成本对照的实验与排查
大数据·人工智能·机器学习
金融小师妹6 小时前
多因子关联模型:黄金与铜价同步回落背后的金融变量及PPI传导分析
大数据·人工智能·金融
TDengine (老段)17 小时前
TDengine IDMP 功能点—数据接入
大数据·数据库·物联网·时序数据库·tdengine·涛思数据
bksczm18 小时前
InnoDB 通用表空间与临时表空间详解
大数据·数据库·mysql
阿里云大数据AI技术20 小时前
AI 原生大数据服务 ADA 快速入门:完成首次对话式数据分析
大数据·人工智能
衡石科技20 小时前
企业级 BI 的安全治理:衡石如何贯通认证、数据权限与审计
大数据·人工智能·安全·商业智能
stark张宇1 天前
分布式事务方案设计与选型思考:2PC、TCC
分布式·架构
yyk333241 天前
Flink详细讲解
大数据·flink
用户46043852250861 天前
关于paimon-rust 数据写入链路
大数据