一文详解pyspark常用算子与API

rdd.glom()

对rdd的数据进行嵌套,嵌套按照分区来进行

cpp 复制代码
    rdd = sc.parallelize([1, 2, 3, 4, 5, 6, 7, 8, 9], 2)
    print(rdd.glom().collect())

输出:[[1,2,3,4],[5,6,7,8,9]]

参考

相关推荐
AI自动化工坊1 天前
Meta Muse Spark技术深度解析:原生多模态推理架构实践指南
大数据·人工智能·架构·spark
talen_hx2961 天前
《零基础入门Spark》学习笔记 Day 15
大数据·笔记·学习·spark
talen_hx2962 天前
《零基础入门Spark》学习笔记 Day 14
大数据·笔记·学习·spark
xiaoyaohou112 天前
025、分布式计算实战:Spark Core与Spark SQL
sql·ajax·spark
xiaoyaohou112 天前
024、大数据技术栈概览:Hadoop、Spark与Flink
大数据·hadoop·spark
2501_948114242 天前
Muse Spark 闭源转型背后的系统化演进:PAO 架构、KV Cache 压缩与聚合接入实践
大数据·架构·spark
Henb9292 天前
# Spark 内核级调优源码分析
大数据·ajax·spark
薛定猫AI2 天前
【深度解析】Meta Muse Spark:原生多模态推理模型与多智能体编排的工程化实践
大数据·分布式·spark
xiaoyaohou112 天前
026、流式计算:Kafka与Spark Streaming实时处理
spark·kafka·linq
chaofan9803 天前
Meta Muse Spark 深度解构:并联智能体架构与开发者接入实战指南
大数据·架构·spark