|--------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------|
| ### Spark WordCount实验一 启动spark 
1. 数据准备 创建建数据文件夹 进入data文件夹 创建文本文件 并查看是否创建成功 
文件内容 
查看文件目录 
|
| 启动pyspark 
3、输入代码 从本地读入文本数据 
读入1中创建好的data.txt文本文件。 并计算打印结果 
### Spark WordCount实验二 切工作目录到Downloads文件夹下, 并用用vim命令新建data.txt 
编写代码 
并把.py文件传输到Linux上 
提交应用 切换到spark-submit所在目录下，然后提交wordcount.py代码。 
运行结果 
|
| 总体还是比较简单就练习如何使用spark-submit命令提交独立的python程序时最后的输出wordcount01.py时有点问题 |
Spark wordcount实验
涡看你就不是好人呐2024-08-08 15:33
相关推荐
阿星AI工作室5 小时前
刘润年中大课笔记：一句话说清AI落地之战的本质189228048619 小时前
NY352固态MT29F32T08GWLBHD6-24QJ:B不开大的凯20779 小时前
麦当秀AiPPT战略转向：从SaaS订阅迈向Token经济，AI办公定价模式迎来新探索程序鉴定师9 小时前
西安小程序制作的可靠选择与发展前景黎阳之光9 小时前
黎阳之光：以视频孪生重构智慧医院信息化，打造高标项目核心竞争力qziovv10 小时前
Git 回退场景ZeroNews内网穿透11 小时前
面向 AI 协作的本地客户端能力：ZeroNews Agent SkillsSelectDB12 小时前
Agent 时代，为什么传统的可观测方案不适用了？Elastic 中国社区官方博客12 小时前
快 12 倍的 Elasticsearch 向量索引：使用 GPU 和 CPU 分层部署 NVIDIA cuVS鹧鸪云光伏12 小时前
光伏设计软件：多屋脊房型如何设计？