一文详解pyspark常用算子与API

rdd.glom()

对rdd的数据进行嵌套,嵌套按照分区来进行

cpp 复制代码
    rdd = sc.parallelize([1, 2, 3, 4, 5, 6, 7, 8, 9], 2)
    print(rdd.glom().collect())

输出:\[1,2,3,4,5,6,7,8,9]

参考

相关推荐
用户3610588626123 小时前
Spark 核心之广播变量、累加器原理深度剖析
大数据·spark
用户3610588626121 天前
Spark 核心之二次排序、分组取 TopN 优化分析
大数据·spark
头茬韭菜2 天前
Apache Fluss 项目深度分析与技术文档系列计划
flink·spark·realtime·fluss
Gent_倪3 天前
Spark聚合算法:HashAggregate与SortAggregate详解
大数据·spark
用户3610588626124 天前
Spark 核心之任务调度角色划分以及资源调度角色划分详解
大数据·spark
用户3610588626125 天前
Spark 核心之 Stage 并行度划分及优化详解
spark
用户3610588626125 天前
Spark 核心之 Stage 切分划分与计算模式详解
spark
用户3610588626126 天前
Spark 核心之 RDD 窄依赖与宽依赖详解
spark
用户3610588626126 天前
Spark 核心之 Stage 和 Task 原理剖析
spark
java1234_小锋6 天前
【免费】基于Spark实时医疗健康数据监测与疾病预测系统(Java版本+可视化大屏+Kafka+SpringBoot+Vue3) 锋哥原创出品,必属精品
大数据·spark·kafka·实时医疗健康数据监测·实时疾病预测系统