一文详解pyspark常用算子与API

rdd.glom()

对rdd的数据进行嵌套,嵌套按照分区来进行

cpp 复制代码
    rdd = sc.parallelize([1, 2, 3, 4, 5, 6, 7, 8, 9], 2)
    print(rdd.glom().collect())

输出:[[1,2,3,4],[5,6,7,8,9]]

参考

相关推荐
鸿乃江边鸟2 天前
Spark Datafusion Comet 向量化Rust Native--Native算子ScanExec以及涉及到的Selection Vectors
大数据·rust·spark·arrow
派可数据BI可视化3 天前
一文读懂系列:数据仓库为什么分层,分几层?数仓建模方法有哪些
大数据·数据仓库·信息可视化·spark·商业智能bi
码字的字节3 天前
锚点模型:数据仓库中的高度可扩展建模技术详解
大数据·数据仓库·spark
数据知道3 天前
PostgreSQL:详解 PostgreSQL 与Hadoop与Spark的集成
hadoop·postgresql·spark
鸿乃江边鸟5 天前
Spark Datafusion Comet 向量化Rust Native--Native算子指标如何传递到Spark UI上展示
rust·spark·native
uesowys6 天前
Apache Spark算法开发指导-K-means
算法·spark·kmeans
uesowys7 天前
Apache Spark算法开发指导-Gradient-boosted tree regression
算法·spark
uesowys8 天前
Apache Spark算法开发指导-Random forest regression
算法·spark
DisonTangor8 天前
介绍 GPT‑5.3‑Codex‑Spark
大数据·gpt·spark
小邓睡不饱耶8 天前
Hadoop 3.x实战:基于HDFS+Spark+Flink的实时用户行为分析平台(含Kerberos安全配置+冷热数据分层)
hadoop·hdfs·spark