黑马python(二十五)

目录:

1.数据输出-输出为Python对象

2.数据输出-输出到文件中

3.综合案例

1.数据输出-输出为Python对象

2.数据输出-输出到文件中

移动文件到文件夹:

生成了好多文件,因为Rdd是有分区的 ,会把数据分散到各个分区去存储,因为电脑是16核,默认给了16个分区,有的分区有数据,有的没数据,12345默认随机分散到随机一个分区

我想生成到一个分区里:

第二种方式,设置分区为1:

3.综合案例

以反斜杠分割

取0号元素,切片取前两个元素

变成2元元组:

进行分组聚合:

进行排序:

取前3:

\代表换行

简化代码:

2:

以反斜杠分割

取2号元素:

变成2元元组

进行分组聚合:

进行排序:

取前3:

以反斜杠分割

过滤元素:

以小时为key变成二元元组

进行分组聚合:

进行排序:

取第一个元素:

以反斜杠分割

变成字典:

写出到文件:

设置分区:

相关推荐
m0_67848545几秒前
CSS实现浮动图标与文本居中对齐_配合浮动与flex
jvm·数据库·python
YuanDaima20482 分钟前
二分查找基础原理与题目说明
开发语言·数据结构·人工智能·笔记·python·算法
2401_887724508 分钟前
uni-app动画效果实现 uni-app如何使用animation API
jvm·数据库·python
Luca_kill9 分钟前
实战指南:用 Python + NLP 搭建一套轻量级 AI 舆情监控系统
人工智能·python·机器学习·nlp·舆情监控
七颗糖很甜10 分钟前
python实现全国雷达拼图数据的SCIT风暴识别
python·算法·scipy
m0_7488394910 分钟前
mysql如何处理不走索引的OR查询_使用UNION ALL优化重写
jvm·数据库·python
Dxy123931021614 分钟前
将 PyTorch Tensor 转换为 Python 列表
人工智能·pytorch·python
fox_lht14 分钟前
7.3.结构体-方法
开发语言·后端·rust
chenbin___15 分钟前
检查hooks依赖的工具(转自千问)
开发语言·前端·javascript·react native·react.js
2401_8877245023 分钟前
在 Ubuntu Core 上部署 Go Web 服务的完整实践指南
jvm·数据库·python