运行Spark程序-在Idea中(二)

(四) 使用Maven创建新项目

核心的操作步骤如下:

1.启动idea,选择新建项目。

2.将Scala添加到全局库中。

3.设置maven依赖项。修改pom.xml文件,添加如下:


4.下载依赖。添加完成之后,刷新Maven,它会帮助我们去下载依赖。

5.编写代码。修改文件夹的名字。

6.新建Scala类。如果这里没有看到Scala类的选项,就去检查第2步。

选择Object,输入WordCount


7.编写代码如下

它的功能是wordcount的功能:从指定的文件夹中去读取文件,并做词频统计。


8.准备待统计的词频文件。在项目根目录下建立文件夹input,并穿件两个文本文件:word1.txt, word2.txt。如下图。


9.运行代码。点击运行代码。

10生成结果如上右图。

相关推荐
NeRF_er3 小时前
STORM代码阅读笔记
大数据·笔记·storm
myNameGL7 小时前
下载一个JeecgBoot-master项目 导入idea需要什么操作启动项目
java·ide·intellij-idea
TDengine (老段)8 小时前
TDengine 中 TDgp 中添加机器学习模型
大数据·数据库·算法·机器学习·数据分析·时序数据库·tdengine
希艾席帝恩9 小时前
拥抱智慧物流时代:数字孪生技术的应用与前景
大数据·人工智能·低代码·数字化转型·业务系统
Bar_artist9 小时前
离线智能破局,架构创新突围:RockAI与中国AI的“另一条车道”
大数据·人工智能
FC_nian10 小时前
IDEA配置(Maven)
java·maven·intellij-idea
牛客企业服务11 小时前
2025校招AI应用:校园招聘的革新与挑战
大数据·人工智能·机器学习·面试·职场和发展·求职招聘·语音识别
鼠鼠我捏,要死了捏12 小时前
Spark Shuffle性能优化实践指南:提升大数据处理效率
性能优化·spark·shuffle
电商数据girl12 小时前
如何利用API接口与网页爬虫协同进行电商平台商品数据采集?
大数据·开发语言·人工智能·python·django·json
TDengine (老段)12 小时前
TDengine 中 TDgpt 异常检测的数据密度算法
java·大数据·算法·时序数据库·iot·tdengine·涛思数据