RDD有哪几种创建方式

RDD 的创建方式

在 Spark 中,RDD 可以通过多种方式进行创建。以下是主要的两种方法及其详细说明:

1. 从集合中创建 RDD

这是最简单的方式之一,适用于本地数据结构(如数组或列表)转化为分布式数据集的情况。parallelize()makeRDD() 是两个常用的方法来实现这一点。

  • 使用 parallelize() 方法可以将一个 Scala 集合对象转换为 RDD2

    复制代码

    scala

    val conf = new SparkConf().setAppName("Example").setMaster("local") val sc = new SparkContext(conf) // 将本地数组转为 RDD val rdd: RDD[Int] = sc.parallelize(Array(1, 2, 3, 4))

  • 同样地,也可以使用 makeRDD() 来完成相同的功能1:

    复制代码

    scala

    val rdd1: RDD[Int] = sc.makeRDD(Array(1, 2, 3, 4, 5, 6))

这两种方法本质上都是把内存中的数据分布到集群的不同节点上去形成一个 RDD 实例2

2. 从外部存储系统加载数据创建 RDD

除了能够直接由程序内部的数据构建外,RDD 还可以从诸如 HDFS,S3,Cassandra,HBase 等外部存储媒介里获取原始资料进而初始化自己.

  • 当需要处理大规模存在于远程文件服务器上的文本文档时,则可通过调用 textFile() 函数指定路径参数达成目标2 :

    复制代码

    scala

    val hdfsRdd = sc.textFile("hdfs://localhost:9000/data/words.txt")

此命令会读取位于给定 URI 下的所有文件并将每一行作为单独元素放入最终得到的新建实例之中.

综上所述,无论是针对小型测试用途还是生产环境下涉及庞大数据量的实际运用场景,Spark 均提供了灵活简便的方式来生成所需的 RDD 结构形式以便后续进一步分析挖掘价值所在.

相关推荐
2501_938782097 小时前
《大数据框架选型指南:Hadoop 与 Spark 的性能、成本与扩展性对比》
大数据·hadoop·spark
北邮-吴怀玉8 小时前
6.1.1.3 大数据方法论与实践指南-SparkStreaming 任务优化实践
大数据·flink·spark·数据治理
Q264336502313 小时前
【有源码】基于Hadoop与Spark的时尚精品店数据分析与可视化系统-基于多维度分析的零售时尚销售数据挖掘与可视化研究
大数据·hadoop·机器学习·数据挖掘·数据分析·spark·毕业设计
北邮-吴怀玉13 小时前
6.1.1.1 大数据方法论与实践指南-Spark/Flink 任务开发规范
大数据·flink·spark
LDG_AGI15 小时前
【推荐系统】深度学习训练框架(一):深入剖析Spark集群计算中Master与Pytorch分布式计算Master的区别
人工智能·深度学习·算法·机器学习·spark
LDG_AGI15 小时前
【推荐系统】深度学习训练框架(二):深入剖析Spark Cluster模式下DDP网络配置解析
大数据·网络·人工智能·深度学习·算法·机器学习·spark
丸卜1 天前
spark-RDD期中
spark
北邮-吴怀玉2 天前
6.1.1.2 大数据方法论与实践指南-实时任务(spark/flink)任务的 cicd 解决方案
大数据·flink·spark
蒋星熠2 天前
分布式计算深度解析:从理论到实践的技术探索
分布式·机器学习·spark·自动化·云计算·边缘计算·mapreduce
B站_计算机毕业设计之家2 天前
基于大数据的短视频数据分析系统 Spark哔哩哔哩视频数据分析可视化系统 Hadoop大数据技术 情感分析 舆情分析 爬虫 推荐系统 协同过滤推荐算法 ✅
大数据·hadoop·爬虫·spark·音视频·短视频·1024程序员节