一文详解pyspark常用算子与API

rdd.glom()

对rdd的数据进行嵌套,嵌套按照分区来进行

cpp 复制代码
    rdd = sc.parallelize([1, 2, 3, 4, 5, 6, 7, 8, 9], 2)
    print(rdd.glom().collect())

输出:[[1,2,3,4],[5,6,7,8,9]]

参考

相关推荐
鸿乃江边鸟7 小时前
Spark Datafusion Comet 向量化Rust Native--Native算子指标如何传递到Spark UI上展示
rust·spark·native
uesowys1 天前
Apache Spark算法开发指导-K-means
算法·spark·kmeans
uesowys2 天前
Apache Spark算法开发指导-Gradient-boosted tree regression
算法·spark
uesowys3 天前
Apache Spark算法开发指导-Random forest regression
算法·spark
DisonTangor3 天前
介绍 GPT‑5.3‑Codex‑Spark
大数据·gpt·spark
小邓睡不饱耶3 天前
Hadoop 3.x实战:基于HDFS+Spark+Flink的实时用户行为分析平台(含Kerberos安全配置+冷热数据分层)
hadoop·hdfs·spark
阿里云大数据AI技术4 天前
阿里云 EMR Serverless Spark TPC-DS 100T 榜首背后的内核技术
spark
KANGBboy5 天前
spark参数优化
大数据·分布式·spark
十月南城6 天前
Spark批处理认知——RDD与DataFrame的差异、Shuffle与资源利用
大数据·分布式·spark
徐先生 @_@|||6 天前
Spark的DataFrame的Map Task和Reduce Task深入理解
ajax·spark·php