|--------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------|
| ### Spark WordCount实验一 启动spark 
1. 数据准备 创建建数据文件夹 进入data文件夹 创建文本文件 并查看是否创建成功 
文件内容 
查看文件目录 
|
| 启动pyspark 
3、输入代码 从本地读入文本数据 
读入1中创建好的data.txt文本文件。 并计算打印结果 
### Spark WordCount实验二 切工作目录到Downloads文件夹下, 并用用vim命令新建data.txt 
编写代码 
并把.py文件传输到Linux上 
提交应用 切换到spark-submit所在目录下，然后提交wordcount.py代码。 
运行结果 
|
| 总体还是比较简单就练习如何使用spark-submit命令提交独立的python程序时最后的输出wordcount01.py时有点问题 |
Spark wordcount实验
涡看你就不是好人呐2024-08-08 15:33
相关推荐
buhuimaren_5 小时前
FastDFS分布式存储pingao1413787 小时前
智联未来：4G温湿度传感器如何重塑数据监测新生.态数新网络9 小时前
告别“数据沼泽”，拥抱“活水湖”：数新智能基于CyberEngine与Apache Paimon的新一代数据湖仓架构实习僧企业版10 小时前
如何为中小企业点亮校招吸引力的灯塔塔能物联运维10 小时前
高密度机柜满载怎么办？热管理的“最后一厘米”：两相液冷王苏安说钢材A11 小时前
无锡佳钛合不锈钢有限公司三通的焊接工艺跨境卫士-小汪12 小时前
旺季前成本项变多跨境卖家如何设定更稳的备货优先级地球资源数据云13 小时前
1951-2025年中国逐年1千米逐月总降水量区域统计数据集_年表_县云飞云共享云桌面13 小时前
精密机械制造工厂研发部门使用SolidWorks和ug，三维设计云桌面如何选择？互联网推荐官13 小时前
定制开发落地实践：D-coding 销售采购系统赋能上海多终端软件项目建设