什么是RDD.RDD的创建方式

RDD（Resilient Distributed Dataset）即弹性分布式数据集，是Apache Spark中最基本的数据抽象。它代表一个不可变、可分区、里面的元素可并行计算的集合。以下是RDD的创建方式：

• 从集合中创建：可以通过在驱动程序中并行化现有的集合来创建RDD。例如在Scala中，可以使用 parallelize 方法，示例代码如下：

scala

val data = List(1, 2, 3, 4, 5)

val rdd = spark.sparkContext.parallelize(data)

• 从外部存储创建：从Hadoop支持的任何存储系统中读取数据来创建RDD，如HDFS、Cassandra、HBase等。例如从HDFS读取文本文件创建RDD，在Scala中代码如下：

scala

val rdd = spark.sparkContext.textFile("hdfs://localhost:9000/path/to/file.txt")

• 通过转换现有RDD创建：通过对已有的RDD执行转换操作来创建新的RDD。例如，使用 map 转换对RDD中的每个元素进行操作，示例代码如下：

scala

val rdd1 = spark.sparkContext.parallelize(List(1, 2, 3, 4, 5))

val rdd2 = rdd1.map(x => x * 2)