spark的rdd介绍和应用

1.rdd介绍

  • RDD是spark的一种数据模型(规定数据的存储结构和计算方法)

  • RDD是将数据分布式存储在不同服务器的内存上,通过RDD共享不同服务器的内存数据

  • 所以Spark是基于内存进行分布式数据计算的框架

1.1 rdd特点

  • 分区

    • 可以将计算的海量数据分成多份,需要分成多少可分区可以通过方法指定

    • 每个分区都可以对应一个task线程执行计算

  • 只读

    • rdd中的数据不能直接修改,需要通过方法计算后得到一个新的rdd

    • rdd本身存储的数只能读取

  • 依赖

    • rdd之间是有依赖关系的

    • 新的rdd是通过旧的rdd计算得到

  • 缓存

    • 可以将计算的中结果缓存起来,如果后续计算错误时,可以从缓存位置重新计算

    • 将数据存储在内存或本地磁盘

    • 作用是容错

    • 缓存在执行计算任务程序结束后会释放删除

  • checkpoint

    • 作用和缓存一样

    • checkpoint可以将数据存储在分布式存储系统中,比如hdfs

2.rdd的应用

2.1创建rdd

复制代码
# 导入sparkcontext
from pyspark import SparkContext
# 创建SparkContext对象
sc = SparkContext()
# 将Python数据转为rdd
data_list = [1, 2, 3, 4]
rdd = sc.parallelize(data_list)
# rdd的数据输出展示
# 获取所有rdd数据
res = rdd.collect()
print(res)

2.2hdfs数据转为rdd

复制代码
# 将读取的hdfs文件数据转为rdd
from pyspark import SparkContext

# 生成SparkContext类对象
sc = SparkContext()
# 读取文件数据转为rdd
rdd  = sc.textFile('hdfs://node1:8020/data')#数据文件在hdfs的存储路径
# 查看数据
res = rdd.collect()
print(res)

2.3rdd的分区

复制代码
# 导入sparkcontext
from pyspark import SparkContext

# 创建SparkContext对象
sc = SparkContext()

# 创建生成rdd是可以指定分区数
# Python数据转为rdd指定
# numSlices 可以指定分区数
rdd_py = sc.parallelize([1,2,3,4,5,6],numSlices=3)
# 查看rdd分区数据
res  = rdd_py.glom().collect()
print(res)

2.4小文件数据读取

复制代码
# 导入sparkcontext
from pyspark import SparkContext

# 创建SparkContext对象
sc = SparkContext(master='yarn')
# rdd = sc.textFile('hdfs://node1:8020/data')
# rdd计算
# wholeTextFiles 会合并小文件数据
# minPartitions 指定分区数
rdd_mini = sc.wholeTextFiles('hdfs://node1:8020/data',minPartitions=1)

# 展示数据
# res1 = rdd.glom().collect()
# print(res1)

res2 = rdd_mini.glom().collect()
print(res2)
相关推荐
2351622 分钟前
【MySQL】慢查寻的发现和解决优化(思维导图版)
java·后端·sql·mysql·职场和发展·数据库开发·数据库架构
墨香幽梦客38 分钟前
掌控制造脉络:电子元器件行业常用ERP系统概览与参考指南
大数据·人工智能
B站_计算机毕业设计之家43 分钟前
python舆情分析可视化系统 情感分析 微博 爬虫 scrapy爬虫技术 朴素贝叶斯分类算法大数据 计算机✅
大数据·爬虫·python·scrapy·数据分析·1024程序员节·舆情分析
汤姆yu1 小时前
2026版基于python大数据的电影分析可视化系统
大数据·python·1024程序员节·电影分析可视化
QMY5205201 小时前
TikTok 独立 IP 解决方案:独享静态住宅 IP + 环境隔离 + 粘性会话
大数据·jupyter·数据挖掘·数据分析·postman·1024程序员节
熟悉的新风景1 小时前
window安装Elasticsearch(es)
大数据·elasticsearch·jenkins
励志成为糕手2 小时前
Hive数据仓库:架构原理与实践指南
大数据·数据仓库·hive·1024程序员节·hql
兜兜风d'2 小时前
RabbitMQ 高级特性:消息确认机制详解
spring boot·分布式·rabbitmq·java-rabbitmq·1024程序员节
isNotNullX2 小时前
一文讲清:数据清洗、数据中台、数据仓库、数据治理
大数据·网络·数据库·数据分析·1024程序员节
云飞云共享云桌面2 小时前
苏州精密机械制造企业一台云服务器带8个SolidWorks研发
大数据·运维·服务器·自动化·制造