黑马python(二十五)

目录:

1.数据输出-输出为Python对象

2.数据输出-输出到文件中

3.综合案例

1.数据输出-输出为Python对象

2.数据输出-输出到文件中

移动文件到文件夹:

生成了好多文件,因为Rdd是有分区的 ,会把数据分散到各个分区去存储,因为电脑是16核,默认给了16个分区,有的分区有数据,有的没数据,12345默认随机分散到随机一个分区

我想生成到一个分区里:

第二种方式,设置分区为1:

3.综合案例

以反斜杠分割

取0号元素,切片取前两个元素

变成2元元组:

进行分组聚合:

进行排序:

取前3:

\代表换行

简化代码:

2:

以反斜杠分割

取2号元素:

变成2元元组

进行分组聚合:

进行排序:

取前3:

以反斜杠分割

过滤元素:

以小时为key变成二元元组

进行分组聚合:

进行排序:

取第一个元素:

以反斜杠分割

变成字典:

写出到文件:

设置分区:

相关推荐
Learner8 分钟前
Python数据类型(四):字典
python
odoo中国1 小时前
Odoo 19 模块结构概述
开发语言·python·module·odoo·核心组件·py文件按
Jelena157795857921 小时前
Java爬虫api接口测试
python
代码N年归来仍是新手村成员2 小时前
【Java转Go】即时通信系统代码分析(一)基础Server 构建
java·开发语言·golang
踩坑记录2 小时前
leetcode hot100 3.无重复字符的最长子串 medium 滑动窗口(双指针)
python·leetcode
Z1Jxxx2 小时前
01序列01序列
开发语言·c++·算法
沐知全栈开发2 小时前
C语言中的强制类型转换
开发语言
关于不上作者榜就原神启动那件事2 小时前
Java中大量数据Excel导入导出的实现方案
java·开发语言·excel
坚定学代码3 小时前
基于观察者模式的ISO C++信号槽实现
开发语言·c++·观察者模式·ai
Wang's Blog3 小时前
Nodejs-HardCore: Buffer操作、Base64编码与zlib压缩实战
开发语言·nodejs