黑马python(二十五)

目录:

1.数据输出-输出为Python对象

2.数据输出-输出到文件中

3.综合案例

1.数据输出-输出为Python对象

2.数据输出-输出到文件中

移动文件到文件夹:

生成了好多文件,因为Rdd是有分区的 ,会把数据分散到各个分区去存储,因为电脑是16核,默认给了16个分区,有的分区有数据,有的没数据,12345默认随机分散到随机一个分区

我想生成到一个分区里:

第二种方式,设置分区为1:

3.综合案例

以反斜杠分割

取0号元素,切片取前两个元素

变成2元元组:

进行分组聚合:

进行排序:

取前3:

\代表换行

简化代码:

2:

以反斜杠分割

取2号元素:

变成2元元组

进行分组聚合:

进行排序:

取前3:

以反斜杠分割

过滤元素:

以小时为key变成二元元组

进行分组聚合:

进行排序:

取第一个元素:

以反斜杠分割

变成字典:

写出到文件:

设置分区:

相关推荐
A24207349305 分钟前
JavaScript图表制作:从入门到精通
开发语言·javascript·信息可视化
梦帮科技8 分钟前
Scikit-learn特征工程实战:从数据清洗到提升模型20%准确率
人工智能·python·机器学习·数据挖掘·开源·极限编程
BD_Marathon15 分钟前
Vue3_简介和快速体验
开发语言·javascript·ecmascript
xqqxqxxq16 分钟前
Java 集合框架之线性表(List)实现技术笔记
java·笔记·python
verbannung22 分钟前
Python进阶: 元类与属性查找理解
python
想用offer打牌40 分钟前
LLM参数: Temperature 与 Top-p解析
人工智能·python·llm
tryxr44 分钟前
Java 多线程标志位的使用
java·开发语言·volatile·内存可见性·标志位
小智RE0-走在路上1 小时前
Python学习笔记(6)--列表,元组,字符串,序列切片
笔记·python·学习
APItesterCris1 小时前
高并发场景下的挑战:1688 商品 API 的流量控制、缓存策略与异步处理方案
大数据·开发语言·数据库·缓存
yyy(十一月限定版)1 小时前
c语言——栈和队列
java·开发语言·数据结构