Spark RDD

一、什么是 RDD

RDD(Resilient Distributed Dataset)叫做弹性分布式数据集,是 Spark 中最基本的数据处理模型。代码中是一个抽象类,它代表一个弹性的、不可变、可分区、里面的元素可并行计算的集合。

➢ 弹性

⚫ 存储的弹性:内存与磁盘的自动切换

⚫ 容错的弹性:数据丢失可以自动恢复

⚫ 计算的弹性:计算出错重试机制

⚫ 分片的弹性:可根据需要重新分片。

➢ 分布式:数据存储在大数据集群不同节点上

➢ 数据集:RDD 封装了计算逻辑,并不保存数据

➢ 数据抽象:RDD 是一个抽象类,需要子类具体实现

➢ 不可变:RDD 封装了计算逻辑,是不可以改变的,想要改变,只能产生新的 RDD,在

新的 RDD 里面封装计算逻辑

➢ 可分区、并行计算

二、Spark中的RDD(弹性分布式数据集)有以下常用API:

map(func): 对RDD中的每个元素应用给定的函数,并返回一个新的RDD。
scala 复制代码
  val mapRDD = rdd.map(
    num => {
      // 使用累加器
      sumAcc.add(num)
      num
    }
  )
filter(func): 根据给定的函数过滤RDD中的元素,并返回一个新的RDD。
scala 复制代码
  val orderActionRDD = actionRDD.filter(
    action => {
      val datas = action.split("_")
      datas(8) != "null"
    }
  )
flatMap(func): 对RDD中的每个元素应用给定的函数,并将结果扁平化为一个新的RDD。
scala 复制代码
val words: RDD[String] = lines.flatMap(_.split(" "))
reduce(func): 使用给定的函数将RDD中的所有元素聚合成一个值。
scala 复制代码
  val wordCount = mapWord.reduce(
    (map1, map2) => {
      map2.foreach {
        case (word, count) => {
          val newCount = map1.getOrElse(word, 0L) + count
          map1.update(word, newCount)
        }
      }
      map1
    }
  )
collect(): 将RDD中的所有元素收集到驱动程序节点的数组中。
scala 复制代码
mapRDD.collect()
  1. count(): 返回RDD中的元素个数。

    scala 复制代码
    val cnt = rdd.count()
  2. first(): 返回RDD中的第一个元素。

    scala 复制代码
    val first = rdd.first()
  3. take(n): 返回RDD中的前n个元素。

    scala 复制代码
    val ints: Array[Int] = rdd.take(3)
  4. takeSample(withReplacement, num, seed): 从RDD中随机抽取样本。

    scala 复制代码
  5. foreach(func): 对RDD中的每个元素应用给定的函数,但不返回结果。

    scala 复制代码
    rdd.foreach(
     num => {
    // 使用累加器
       sumAcc.add(num)
      }
    )
  6. foreachPartition(func): 对RDD中的每个分区应用给定的函数。

    scala 复制代码
      rdd.foreachPartition(iter => {
        val conn = JDBCUtil.getConnection
        iter.foreach {
          case ((day, user, ad), count) => {
    
          }
        }
        conn.close()
      })
  7. groupByKey(): 根据键值对RDD中的键进行分组。

    scala 复制代码
  8. reduceByKey(func): 根据键值对RDD中的键进行聚合。

    scala 复制代码
  9. aggregateByKey(zeroValue, seqOp, combOp): 根据键值对RDD中的键进行聚合。

    scala 复制代码
  10. sortBy(keyFunc): 根据给定的键函数对RDD中的元素进行排序。

    scala 复制代码
  11. sortBy(keyFunc, ascending): 根据给定的键函数和升序标志对RDD中的元素进行排序。

    scala 复制代码
  12. union(other): 合并两个RDD。

    scala 复制代码
  13. intersection(other): 计算两个RDD的交集。

    scala 复制代码
  14. subtract(other): 计算两个RDD的差集。

    scala 复制代码
  15. distinct(): 去除RDD中的重复元素。

    scala 复制代码
  16. cartesian(other): 计算两个RDD的笛卡尔积。

    scala 复制代码
  17. pipe(command): 使用外部命令处理RDD中的数据。

    scala 复制代码
  18. saveAsTextFile(path): 将RDD保存为文本文件。

    scala 复制代码
  19. textFile(path): 从文本文件中读取数据并创建RDD。

    scala 复制代码
  20. parallelize(data): 从集合中创建RDD。

    scala 复制代码
  21. toDF(): 将RDD转换为DataFrame。

    scala 复制代码
  22. toDS(): 将RDD转换为Dataset。

    scala 复制代码

这些API是Spark RDD编程模型中最常用的一些,它们可以帮助你完成数据处理、转换和聚合等任务。

相关推荐
时光追逐者1 小时前
一个使用 WPF 开发的 Diagram 画板工具(包含流程图FlowChart,思维导图MindEditor)
c#·.net·wpf·流程图
我是唐青枫2 小时前
C#.NET FluentValidation 全面解析:优雅实现对象验证
c#·.net
YuanlongWang2 小时前
C# 设计模式——工厂模式
开发语言·设计模式·c#
时光追逐者2 小时前
C#/.NET/.NET Core技术前沿周刊 | 第 58 期(2025年10.13-10.19)
微软·开源·c#·.net·.netcore
扁豆的主人2 小时前
Elasticsearch
大数据·elasticsearch·jenkins
想ai抽3 小时前
Flink重启策略有啥用
大数据·flink
TMT星球3 小时前
TCL华星t8项目正式开工,总投资额约295亿元
大数据·人工智能
阿里云大数据AI技术3 小时前
云栖实录 | 驶入智驾深水区:广汽的“数据突围“之路
大数据·人工智能
B站_计算机毕业设计之家4 小时前
python股票交易数据管理系统 金融数据 分析可视化 Django框架 爬虫技术 大数据技术 Hadoop spark(源码)✅
大数据·hadoop·python·金融·spark·股票·推荐算法