Spark---数据输出

1. 输出为Python对象

collect算子:将RDD各个分区内的数据,统一收集到Driver中,形成一个List对象

reduce算子:对RDD数据集按照传入的逻辑进行聚合

take算子:取RDD的前N个元素,组合成list返回给你

count算子:计算RDD有多少条数据,返回值是一个数字

python 复制代码
# collect算子:将RDD各个分区内的数据,统一收集到Driver中,形成一个List对象
# 语法:rdd.collect()  # 返回一个list

from pyspark import SparkConf, SparkContext
import os

os.environ['PYSPARK_PYTHON'] = "D:/Program Files/Python3.11.4/python.exe"
conf = SparkConf().setMaster("local[*]").setSparkHome("test_spark")
sc = SparkContext(conf=conf)

rdd = sc.parallelize([1, 2, 3, 4, 5])
my_list = rdd.collect()
print(my_list)  # [1, 2, 3, 4, 5]
print(type(my_list))  # <class 'list'>

# reduce算子:对RDD数据集按照传入的逻辑进行聚合
# 语法:rdd.reduce(func)
#   func(T,T) - > T   # 两个参数,一个返回值,且类型一致
num = rdd.reduce(lambda a, b: a + b)
print(num)  # 15

# take算子:取RDD的前N个元素,组合成list返回给你
take_list = rdd.take(3)
print(take_list)  # [1, 2, 3]

# count算子:计算RDD有多少条数据,返回值是一个数字
num_count = rdd.count()
print(num_count)  # 5

2. 输出到文件中

saveAsTextFile算子:将RDD的数据写入文本文件中

修改RDD分区为1个

  • 方式1:SparkConf对象设置属性全局并行度为1
  • 方式2:创建rdd的时候设置(parallelize方法传入numSlices参数为1)
python 复制代码
# Spark数据输出到文件中
# saveAsTextFile算子:将RDD的数据写入文本文件中
from pyspark import SparkConf, SparkContext
import os

os.environ['PYSPARK_PYTHON'] = "D:/Program Files/Python3.11.4/python.exe"
conf = SparkConf().setMaster("local[*]").setSparkHome("test_spark")
sc = SparkContext(conf=conf)

# 修改RDD分区为1个
# 方式1:SparkConf对象设置属性全局并行度为1
conf.set("spark.default.parallelism", "1")
# 方式2:创建rdd的时候设置(parallelize方法传入numSlices参数为1)
rdd1 = sc.parallelize([1, 2, 3, 4, 5], numSlices=1)
# rdd1 = sc.parallelize([1, 2, 3, 4, 5],1)

# rdd1 = sc.parallelize([1, 2, 3, 4, 5])
rdd2 = sc.parallelize([("hello", 3), ("Spark", 5), ("Hi", 7)])
rdd3 = sc.parallelize([[1, 3, 5], [6, 7, 9], [11, 13, 11]])

rdd1.saveAsTextFile("./output1")
rdd2.saveAsTextFile("./output2")
rdd3.saveAsTextFile("./output3")
相关推荐
伞伞悦读14 分钟前
【第92期】逻辑回归的分数概率与阈值的实验与排查
人工智能·python·深度学习·机器学习
ch6231 小时前
🚀 从零构建本地文档智能审查 Agent:Vibe Coding 实战指南
python
摇滚侠1 小时前
《On Java 中文版 基础卷》阅读笔记 接口 18
java·笔记·python
Thanks_ks2 小时前
AI Agent 开发入门:用 Function Calling 让大模型学会 “动手干活”,附订单查询机器人实战
python·ai·大模型·openai·agent·通义千问·mcp
专注仿真2 小时前
智能体训练之模仿学习:GAIL 算法详解与实战
python·算法·仿真·多智能体强化学习·afsim智能体训练
databook3 小时前
处理一批 PDF,怎么算真的处理完了
后端·python
承渊政道5 小时前
【Python编程快速上手—让繁琐工作自动化】(列表:把数据排成队,从下标取值到深拷贝)
开发语言·python·pycharm·自动化·列表
大胖爱学习_MJ5 小时前
Agent 如何安全地拿数据库密码?基于 HashiCorp Vault 的动态凭证下发
经验分享·python
tryCbest6 小时前
Python 爬虫从入门到实战(一):基础篇——从零写出第一个爬虫
开发语言·爬虫·python
无小道6 小时前
Python语句的特色
python·语句