黑马python(二十五)

目录:

1.数据输出-输出为Python对象

2.数据输出-输出到文件中

3.综合案例

1.数据输出-输出为Python对象

2.数据输出-输出到文件中

移动文件到文件夹:

生成了好多文件,因为Rdd是有分区的 ,会把数据分散到各个分区去存储,因为电脑是16核,默认给了16个分区,有的分区有数据,有的没数据,12345默认随机分散到随机一个分区

我想生成到一个分区里:

第二种方式,设置分区为1:

3.综合案例

以反斜杠分割

取0号元素,切片取前两个元素

变成2元元组:

进行分组聚合:

进行排序:

取前3:

\代表换行

简化代码:

2:

以反斜杠分割

取2号元素:

变成2元元组

进行分组聚合:

进行排序:

取前3:

以反斜杠分割

过滤元素:

以小时为key变成二元元组

进行分组聚合:

进行排序:

取第一个元素:

以反斜杠分割

变成字典:

写出到文件:

设置分区:

相关推荐
晴天的雨.9921 分钟前
【C++算法】和为s的两个数
开发语言·数据结构·c++·算法
IvanCodes5 小时前
Python 数据处理(十三):JSON、CSV 与数据序列化
开发语言·python
Patrick在香港6 小时前
Claude 工具调用返回空:8 次失败里只有 1 次状态码不对,其余全带 200
爬虫·python·api·claude·香港
Web3&Basketball6 小时前
CRM Agent 后训练实战:3 倍更少错误
python·架构·大模型·agent·推理
aramae7 小时前
MySQL复合查询(8)
java·c语言·开发语言·后端·算法
AIFQuant7 小时前
ETF行情API接入踩坑记:从报错到跑通的七个问题
python·金融·区块链·etf·基金
GPU实战笔记9 小时前
云端 Python 开发:JupyterLab 还是 VS Code Remote-SSH?
python·vs code·jupyterlab·remote-ssh·远程开发
狗狗狗狗狗乐啊9 小时前
搭一个 AI 对话工作台 AChat:从 0 到可用的完整记录(一)
python·react.js·ai编程
qq_2518364579 小时前
springboot vue3 开发实现 拼豆管理系统
java·开发语言·ai编程
白猫不黑10 小时前
Python实现简易Web弱口令爆破与防护方案
python·web安全·计算机·网络安全·黑客·信息安全·渗透测试