sparksql DSL编程风格

小蜜蜂爱编程2024-03-21 22:15

sparksql的DataFrame支持两种风格的编程开发，一种是DSL风格，一种是SQL风格，下面介绍几个常用api，sparksql的api还得常查其官方文档https://spark.apache.org/docs/latest/api/python/reference/pyspark.sql/api/pyspark.sql.DataFrame.select.html#pyspark.sql.DataFrame.select

DSL风格

DSL是domain special language的简写，其实就是DataFrame特有的api，它的本质就是用调用api的的方式来处理data，如df.where().limit()

dsl风格的几个常用api如下：

select()

select的参数可以是str，list或column对象，返回是一个DataFrame

python 复制代码

// string作为参数
df.select("id", "subject").show()
df.select(["id", "subject"]).show()
id_col1 = df["id"]
id_col2 = df.id
id_col3 = df["subject"]
id_col4 = df.subject
df.select(id_col1, id_col3).show()
df.select(id_col2, id_col4)show()

filter()

filter只允许字符串表达式或column对象

python 复制代码

df.filter("score < 80").show()
df.filter(df['score'] < 80).show()

where()

where api 与上面类似

python 复制代码

df.where("score < 80").show()
df.where(df['score'] < 80).show()

groupBy()/groupby()

groupby的参数也是支持str、list、column对象，对指定的列进行分组，然后方便进行聚合、统计等计算，它的返回值是GroupData类型，是一个中间类型，这个类型有一系列计算方法如求和、平均等给开发者做聚合，我们通常最终需要的是分组后再做聚合的结果

https://spark.apache.org/docs/latest/api/python/reference/pyspark.sql/api/pyspark.sql.GroupedData.html#pyspark.sql.GroupedData

python 复制代码

df.groupBy("score").count().show()