Spark RDD简记

RDD概述

1.什么是RDD

RDD(Resilient Distributed Dataset)叫做弹性分布式数据集 ,是Spark中最基本的数据抽象。代码中是一个抽象类,它代表一个不可变、可分区、里面的元素可并行计算

的集合。

2.RDD特点

RDD表示只读的分区的数据集,对RDD进行改动,只能通过RDD的转换操作,由一个RDD得到一个新的RDD,新的RDD包含了从其他RDD衍生所必需的信息。

RDDs之间存在依赖,RDD的执行是按照血缘关系延时计算的。如果血缘关系较长,可以通过持久化RDD来切断血缘关系

相关推荐
没落之王10 分钟前
易学使者郑氏正脉郑冰推演马航事件
大数据·人工智能·算法·机器学习·可用性测试
IT机器猫20 分钟前
RabbitMQ基础二
java·spring boot·分布式·spring cloud·log4j·rabbitmq·springamqp
tachibana234 分钟前
怎么让大模型同时给意图节点打分
大数据·人工智能·ai·大模型·llm·prompt
爱学堂IT分享35 分钟前
AI自动化大师课:从零构建企业级工作流程
大数据·人工智能·自动化
长三角活动观察43 分钟前
苏州独石传媒项目SOP拆解:从苏州智博会到出海大会,千人级活动的流程管控方法论
大数据·人工智能·传媒
水无痕simon1 小时前
3 RabbitMQ基础
分布式·rabbitmq·ruby
电商API_1800790524710 小时前
京东商品详情API技术文章
大数据·运维·人工智能·网络爬虫
Lumistory10 小时前
城市建筑照明的落地与长效运营观察
大数据·数据库·中间件·光照贴图
lvts_cs11 小时前
淄博高新区绿天使数智创新港:高标准产研厂房全维度详解
大数据·人工智能
大大大大晴天12 小时前
实时数仓怎么建:基于StarRocks的宽表、指标层与主题建模
大数据