Spark RDD

一、什么是 RDD

RDD(Resilient Distributed Dataset)叫做弹性分布式数据集,是 Spark 中最基本的数据处理模型。代码中是一个抽象类,它代表一个弹性的、不可变、可分区、里面的元素可并行计算的集合。

➢ 弹性

⚫ 存储的弹性:内存与磁盘的自动切换

⚫ 容错的弹性:数据丢失可以自动恢复

⚫ 计算的弹性:计算出错重试机制

⚫ 分片的弹性:可根据需要重新分片。

➢ 分布式:数据存储在大数据集群不同节点上

➢ 数据集:RDD 封装了计算逻辑,并不保存数据

➢ 数据抽象:RDD 是一个抽象类,需要子类具体实现

➢ 不可变:RDD 封装了计算逻辑,是不可以改变的,想要改变,只能产生新的 RDD,在

新的 RDD 里面封装计算逻辑

➢ 可分区、并行计算

二、Spark中的RDD(弹性分布式数据集)有以下常用API:

map(func): 对RDD中的每个元素应用给定的函数,并返回一个新的RDD。
scala 复制代码
  val mapRDD = rdd.map(
    num => {
      // 使用累加器
      sumAcc.add(num)
      num
    }
  )
filter(func): 根据给定的函数过滤RDD中的元素,并返回一个新的RDD。
scala 复制代码
  val orderActionRDD = actionRDD.filter(
    action => {
      val datas = action.split("_")
      datas(8) != "null"
    }
  )
flatMap(func): 对RDD中的每个元素应用给定的函数,并将结果扁平化为一个新的RDD。
scala 复制代码
val words: RDD[String] = lines.flatMap(_.split(" "))
reduce(func): 使用给定的函数将RDD中的所有元素聚合成一个值。
scala 复制代码
  val wordCount = mapWord.reduce(
    (map1, map2) => {
      map2.foreach {
        case (word, count) => {
          val newCount = map1.getOrElse(word, 0L) + count
          map1.update(word, newCount)
        }
      }
      map1
    }
  )
collect(): 将RDD中的所有元素收集到驱动程序节点的数组中。
scala 复制代码
mapRDD.collect()
  1. count(): 返回RDD中的元素个数。

    scala 复制代码
    val cnt = rdd.count()
  2. first(): 返回RDD中的第一个元素。

    scala 复制代码
    val first = rdd.first()
  3. take(n): 返回RDD中的前n个元素。

    scala 复制代码
    val ints: Array[Int] = rdd.take(3)
  4. takeSample(withReplacement, num, seed): 从RDD中随机抽取样本。

    scala 复制代码
  5. foreach(func): 对RDD中的每个元素应用给定的函数,但不返回结果。

    scala 复制代码
    rdd.foreach(
     num => {
    // 使用累加器
       sumAcc.add(num)
      }
    )
  6. foreachPartition(func): 对RDD中的每个分区应用给定的函数。

    scala 复制代码
      rdd.foreachPartition(iter => {
        val conn = JDBCUtil.getConnection
        iter.foreach {
          case ((day, user, ad), count) => {
    
          }
        }
        conn.close()
      })
  7. groupByKey(): 根据键值对RDD中的键进行分组。

    scala 复制代码
  8. reduceByKey(func): 根据键值对RDD中的键进行聚合。

    scala 复制代码
  9. aggregateByKey(zeroValue, seqOp, combOp): 根据键值对RDD中的键进行聚合。

    scala 复制代码
  10. sortBy(keyFunc): 根据给定的键函数对RDD中的元素进行排序。

    scala 复制代码
  11. sortBy(keyFunc, ascending): 根据给定的键函数和升序标志对RDD中的元素进行排序。

    scala 复制代码
  12. union(other): 合并两个RDD。

    scala 复制代码
  13. intersection(other): 计算两个RDD的交集。

    scala 复制代码
  14. subtract(other): 计算两个RDD的差集。

    scala 复制代码
  15. distinct(): 去除RDD中的重复元素。

    scala 复制代码
  16. cartesian(other): 计算两个RDD的笛卡尔积。

    scala 复制代码
  17. pipe(command): 使用外部命令处理RDD中的数据。

    scala 复制代码
  18. saveAsTextFile(path): 将RDD保存为文本文件。

    scala 复制代码
  19. textFile(path): 从文本文件中读取数据并创建RDD。

    scala 复制代码
  20. parallelize(data): 从集合中创建RDD。

    scala 复制代码
  21. toDF(): 将RDD转换为DataFrame。

    scala 复制代码
  22. toDS(): 将RDD转换为Dataset。

    scala 复制代码

这些API是Spark RDD编程模型中最常用的一些,它们可以帮助你完成数据处理、转换和聚合等任务。

相关推荐
阿里云大数据AI技术7 小时前
大数据公有云市场第一,阿里云占比47%!
大数据
mudtools9 小时前
.NET驾驭Word之力:理解Word对象模型核心 (Application, Document, Range)
c#·.net
Lx35211 小时前
Hadoop容错机制深度解析:保障作业稳定运行
大数据·hadoop
大飞pkz15 小时前
【设计模式】C#反射实现抽象工厂模式
设计模式·c#·抽象工厂模式·c#反射·c#反射实现抽象工厂模式
计算机毕业设计木哥15 小时前
计算机毕设选题推荐:基于Java+SpringBoot物品租赁管理系统【源码+文档+调试】
java·vue.js·spring boot·mysql·spark·毕业设计·课程设计
T062051416 小时前
工具变量-5G试点城市DID数据(2014-2025年
大数据
向往鹰的翱翔16 小时前
BKY莱德因:5大黑科技逆转时光
大数据·人工智能·科技·生活·健康医疗
鸿乃江边鸟17 小时前
向量化和列式存储
大数据·sql·向量化
唐青枫17 小时前
从入门到进阶:C#.NET Stopwatch 计时与性能测量全攻略
c#·.net
IT毕设梦工厂18 小时前
大数据毕业设计选题推荐-基于大数据的客户购物订单数据分析与可视化系统-Hadoop-Spark-数据可视化-BigData
大数据·hadoop·数据分析·spark·毕业设计·源码·bigdata