黑马python(二十五)

目录:

1.数据输出-输出为Python对象

2.数据输出-输出到文件中

3.综合案例

1.数据输出-输出为Python对象

2.数据输出-输出到文件中

移动文件到文件夹:

生成了好多文件,因为Rdd是有分区的 ,会把数据分散到各个分区去存储,因为电脑是16核,默认给了16个分区,有的分区有数据,有的没数据,12345默认随机分散到随机一个分区

我想生成到一个分区里:

第二种方式,设置分区为1:

3.综合案例

以反斜杠分割

取0号元素,切片取前两个元素

变成2元元组:

进行分组聚合:

进行排序:

取前3:

\代表换行

简化代码:

2:

以反斜杠分割

取2号元素:

变成2元元组

进行分组聚合:

进行排序:

取前3:

以反斜杠分割

过滤元素:

以小时为key变成二元元组

进行分组聚合:

进行排序:

取第一个元素:

以反斜杠分割

变成字典:

写出到文件:

设置分区:

相关推荐
子午12 分钟前
【民族服饰识别系统】Python+TensorFlow+Vue3+Django+人工智能+深度学习+卷积网络+resnet50算法
人工智能·python·深度学习
JienDa1 小时前
JienDa聊PHP:小红书仿站实战深度架构全解析
开发语言·架构·php
QxQ么么5 小时前
移远通信(桂林)26校招-助理AI算法工程师-面试纪录
人工智能·python·算法·面试
执笔论英雄6 小时前
Slime异步原理(单例设计模式)4
开发语言·python·设计模式
e***74957 小时前
Modbus报文详解
服务器·开发语言·php
lly2024067 小时前
ASP 发送电子邮件详解
开发语言
小徐敲java7 小时前
python使用s7协议与plc进行数据通讯(HslCommunication模拟)
开发语言·python
likuolei7 小时前
XSL-FO 软件
java·开发语言·前端·数据库
6***37947 小时前
PHP在电商中的BigCommerce
开发语言·php
猫头虎7 小时前
如何解决 pip install 编译报错 fatal error: hdf5.h: No such file or directory(h5py)问题
人工智能·python·pycharm·开源·beautifulsoup·ai编程·pip