黑马python(二十五)

目录:

1.数据输出-输出为Python对象

2.数据输出-输出到文件中

3.综合案例

1.数据输出-输出为Python对象

2.数据输出-输出到文件中

移动文件到文件夹:

生成了好多文件,因为Rdd是有分区的 ,会把数据分散到各个分区去存储,因为电脑是16核,默认给了16个分区,有的分区有数据,有的没数据,12345默认随机分散到随机一个分区

我想生成到一个分区里:

第二种方式,设置分区为1:

3.综合案例

以反斜杠分割

取0号元素,切片取前两个元素

变成2元元组:

进行分组聚合:

进行排序:

取前3:

\代表换行

简化代码:

2:

以反斜杠分割

取2号元素:

变成2元元组

进行分组聚合:

进行排序:

取前3:

以反斜杠分割

过滤元素:

以小时为key变成二元元组

进行分组聚合:

进行排序:

取第一个元素:

以反斜杠分割

变成字典:

写出到文件:

设置分区:

相关推荐
微学AI23 分钟前
一根针指向所有方向:挂谷猜想对 LLM Agent 技能-记忆架构的启示
开发语言·人工智能·架构·挂谷猜想
长和信泰光伏储能1 小时前
京津冀光伏发电:绿色能源的未来之路
python·能源
豆瓣鸡1 小时前
算法日记 - Day3
java·开发语言·算法
浦信仿真大讲堂1 小时前
从重复操作到自动化闭环:如何让 CST 与 Python 真正协同起来
python·自动化·cst·仿真软件·达索软件
韭菜炒鸡肝天2 小时前
VTK开发笔记(一):VTK介绍,Qt..+VSx+VTK.编译
开发语言·笔记·qt
Gu Gu Study2 小时前
ScoutLoop开放域深度研究引擎(agent的初步设计想法)
人工智能·python
Aaron - Wistron2 小时前
Web API C# (Furion版)带 单元测试
开发语言·后端·c#
卷无止境2 小时前
写代码这件事,到底该讲究点什么?
后端·python
卷无止境3 小时前
循环复杂度到底在算什么,Python 代码怎么才能写得让人一看就懂
后端·python
lpfasd1233 小时前
MediaCrawler 项目深度分析
chrome·python·chrome devtools