sparksql DSL编程风格

sparksql的DataFrame支持两种风格的编程开发,一种是DSL风格,一种是SQL风格,下面介绍几个常用api,sparksql的api还得常查其官方文档https://spark.apache.org/docs/latest/api/python/reference/pyspark.sql/api/pyspark.sql.DataFrame.select.html#pyspark.sql.DataFrame.select

DSL风格

DSL是domain special language的简写,其实就是DataFrame特有的api,它的本质就是用调用api的的方式来处理data,如df.where().limit()

dsl风格的几个常用api如下:

select()

select的参数可以是str,list或column对象,返回是一个DataFrame

python 复制代码
// string作为参数
df.select("id", "subject").show()
df.select(["id", "subject"]).show()
id_col1 = df["id"]
id_col2 = df.id
id_col3 = df["subject"]
id_col4 = df.subject
df.select(id_col1, id_col3).show()
df.select(id_col2, id_col4)show()
filter()

filter只允许字符串表达式或column对象

python 复制代码
df.filter("score < 80").show()
df.filter(df['score'] < 80).show()
where()

where api 与上面类似

python 复制代码
df.where("score < 80").show()
df.where(df['score'] < 80).show()
groupBy()/groupby()

groupby的参数也是支持str、list、column对象,对指定的列进行分组,然后方便进行聚合、统计等计算,它的返回值是GroupData类型,是一个中间类型,这个类型有一系列计算方法如求和、平均等给开发者做聚合,我们通常最终需要的是分组后再做聚合的结果

https://spark.apache.org/docs/latest/api/python/reference/pyspark.sql/api/pyspark.sql.GroupedData.html#pyspark.sql.GroupedData

python 复制代码
df.groupBy("score").count().show()
相关推荐
智慧化智能化数字化方案17 分钟前
华为IPD流程管理体系L1至L5最佳实践-解读
大数据·华为
PersistJiao1 小时前
在 Spark RDD 中,sortBy 和 top 算子的各自适用场景
大数据·spark·top·sortby
2301_811274312 小时前
大数据基于Spring Boot的化妆品推荐系统的设计与实现
大数据·spring boot·后端
Yz98762 小时前
hive的存储格式
大数据·数据库·数据仓库·hive·hadoop·数据库开发
青云交2 小时前
大数据新视界 -- 大数据大厂之 Hive 数据导入:多源数据集成的策略与实战(上)(3/ 30)
大数据·数据清洗·电商数据·数据整合·hive 数据导入·多源数据·影视娱乐数据
lzhlizihang2 小时前
python如何使用spark操作hive
hive·python·spark
武子康2 小时前
大数据-230 离线数仓 - ODS层的构建 Hive处理 UDF 与 SerDe 处理 与 当前总结
java·大数据·数据仓库·hive·hadoop·sql·hdfs
武子康2 小时前
大数据-231 离线数仓 - DWS 层、ADS 层的创建 Hive 执行脚本
java·大数据·数据仓库·hive·hadoop·mysql
时差9532 小时前
Flink Standalone集群模式安装部署
大数据·分布式·flink·部署
锵锵锵锵~蒋2 小时前
实时数据开发 | 怎么通俗理解Flink容错机制,提到的checkpoint、barrier、Savepoint、sink都是什么
大数据·数据仓库·flink·实时数据开发