sparksql DSL编程风格

sparksql的DataFrame支持两种风格的编程开发,一种是DSL风格,一种是SQL风格,下面介绍几个常用api,sparksql的api还得常查其官方文档https://spark.apache.org/docs/latest/api/python/reference/pyspark.sql/api/pyspark.sql.DataFrame.select.html#pyspark.sql.DataFrame.select

DSL风格

DSL是domain special language的简写,其实就是DataFrame特有的api,它的本质就是用调用api的的方式来处理data,如df.where().limit()

dsl风格的几个常用api如下:

select()

select的参数可以是str,list或column对象,返回是一个DataFrame

python 复制代码
// string作为参数
df.select("id", "subject").show()
df.select(["id", "subject"]).show()
id_col1 = df["id"]
id_col2 = df.id
id_col3 = df["subject"]
id_col4 = df.subject
df.select(id_col1, id_col3).show()
df.select(id_col2, id_col4)show()
filter()

filter只允许字符串表达式或column对象

python 复制代码
df.filter("score < 80").show()
df.filter(df['score'] < 80).show()
where()

where api 与上面类似

python 复制代码
df.where("score < 80").show()
df.where(df['score'] < 80).show()
groupBy()/groupby()

groupby的参数也是支持str、list、column对象,对指定的列进行分组,然后方便进行聚合、统计等计算,它的返回值是GroupData类型,是一个中间类型,这个类型有一系列计算方法如求和、平均等给开发者做聚合,我们通常最终需要的是分组后再做聚合的结果

https://spark.apache.org/docs/latest/api/python/reference/pyspark.sql/api/pyspark.sql.GroupedData.html#pyspark.sql.GroupedData

python 复制代码
df.groupBy("score").count().show()
相关推荐
Qspace丨轻空间33 分钟前
气膜场馆:推动体育文化旅游创新发展的关键力量—轻空间
大数据·人工智能·安全·生活·娱乐
Elastic 中国社区官方博客2 小时前
如何将数据从 AWS S3 导入到 Elastic Cloud - 第 3 部分:Elastic S3 连接器
大数据·elasticsearch·搜索引擎·云计算·全文检索·可用性测试·aws
Aloudata3 小时前
从Apache Atlas到Aloudata BIG,数据血缘解析有何改变?
大数据·apache·数据血缘·主动元数据·数据链路
水豚AI课代表3 小时前
分析报告、调研报告、工作方案等的提示词
大数据·人工智能·学习·chatgpt·aigc
拓端研究室TRL6 小时前
【梯度提升专题】XGBoost、Adaboost、CatBoost预测合集:抗乳腺癌药物优化、信贷风控、比特币应用|附数据代码...
大数据
黄焖鸡能干四碗6 小时前
信息化运维方案,实施方案,开发方案,信息中心安全运维资料(软件资料word)
大数据·人工智能·软件需求·设计规范·规格说明书
编码小袁6 小时前
探索数据科学与大数据技术专业本科生的广阔就业前景
大数据
WeeJot嵌入式7 小时前
大数据治理:确保数据的可持续性和价值
大数据
zmd-zk8 小时前
kafka+zookeeper的搭建
大数据·分布式·zookeeper·中间件·kafka
激流丶8 小时前
【Kafka 实战】如何解决Kafka Topic数量过多带来的性能问题?
java·大数据·kafka·topic