对SparkRDD的认识

Spark RDD 概述

RDD(Resilient Distributed Dataset)是 Spark 的核心数据结构,代表一个不可变、可分区的分布式数据集。RDD 支持并行操作,具备容错性,能够高效处理大规模数据。

RDD 的特性

  • 不可变性(Immutable):RDD 一旦创建无法修改,只能通过转换操作生成新的 RDD。
  • 分区(Partitioned):数据分布在多个节点上,每个分区可独立处理。
  • 容错性(Fault-tolerant):通过血缘关系(Lineage)记录转换过程,丢失时可重新计算恢复。
  • 延迟计算(Lazy Evaluation) :转换操作不会立即执行,需触发行动操作(如 collect())时才计算。

RDD 的创建方式

  1. 从集合创建

    使用 parallelize() 方法将本地集合转换为 RDD。

    python 复制代码
    from pyspark import SparkContext  
    sc = SparkContext("local", "RDD Example")  
    data = [1, 2, 3, 4, 5]  
    rdd = sc.parallelize(data)  
  2. 从外部存储系统加载

    通过 textFile() 从 HDFS、本地文件系统等读取数据。

    python 复制代码
    rdd = sc.textFile("hdfs://path/to/file.txt")  
  3. 从其他 RDD 转换

    通过转换操作(如 map()、filter())生成新的 RDD。

    python 复制代码
    squared_rdd = rdd.map(lambda x: x * x)  

RDD 的常用操作

  1. 转换操作(Transformations)

    • map(func):对每个元素应用函数。
    • filter(func):保留满足条件的元素。
    • flatMap(func):先映射后扁平化(如拆分单词)。
    • reduceByKey(func):对键值对按键聚合。
  2. 行动操作(Actions)

    • collect():返回所有元素到驱动程序。
    • count():统计元素数量。
    • take(n):返回前 n 个元素。
    • saveAsTextFile(path):保存到文件系统。

RDD 持久化

通过 persist() 或 cache() 将 RDD 缓存到内存或磁盘,避免重复计算。

python 复制代码
rdd.persist(StorageLevel.MEMORY_ONLY)  # 仅内存  
rdd.cache()  # 默认内存缓存  

RDD 的依赖关系

  • 窄依赖(Narrow Dependency) :每个父 RDD 分区最多被一个子分区依赖(如 map)。
  • 宽依赖(Wide Dependency) :父分区可能被多个子分区依赖(如 reduceByKey),需 Shuffle 操作。

示例:词频统计

python 复制代码
text_rdd = sc.textFile("input.txt")  
words_rdd = text_rdd.flatMap(lambda line: line.split(" "))  
word_counts = words_rdd.map(lambda word: (word, 1)).reduceByKey(lambda a, b: a + b)  
word_counts.saveAsTextFile("output")  

RDD 的局限性

  • 不支持结构化数据的优化(如列式存储),需使用 DataFrame/Dataset。
  • 频繁的 Shuffle 操作可能影响性能。

通过合理设计分区和持久化策略,RDD 能够高效处理大规模分布式数据任务。

相关推荐
Mh4 小时前
我是如何设计品牌站组件库的?
前端·css·设计模式
程序员大阳5 小时前
副队长Vue3教程(2)--Vite 搭建 Vue 项目,认识目录结构
前端·javascript·vue.js·vite·创建项目·目录结构·项目结构
濮水大叔5 小时前
Cabloy/Zova 与 Next.js 的 SSR 水合差异
前端·typescript·next.js
SoaringHeart6 小时前
Flutter最佳实践:用 flutter_html 渲染富文本
前端·flutter
ShineWinsu7 小时前
对于Qt:QFormLayout常见属性以及方法的解析
开发语言·c++·qt·面试·客户端·表单·qformlayout
Flynt7 小时前
Chrome给AI编程助手塞了203篇前端规范,我拆包实测:检索0.77秒是真快,扫描器有点挑食
前端·chrome·ai编程
北城笑笑8 小时前
Vue 110 ,若依SSE流式接口限次空500排查与解决
前端·javascript·vue.js·后端·vue
程序员韩星8 小时前
OpenAI 兼容接口返回 404,先查请求地址,再查模型名
前端·人工智能·http
Patrick_Wilson8 小时前
构建通过了,为什么有些浏览器还会白屏?
前端·javascript·浏览器
其实防守也摸鱼9 小时前
用 Claude Code 重构遗留系统:从评估到落地的完整指南
前端·网络·人工智能·chrome·安全·重构