运行Spark程序-在Idea中(二)

(四) 使用Maven创建新项目

核心的操作步骤如下:

1.启动idea,选择新建项目。

2.将Scala添加到全局库中。

3.设置maven依赖项。修改pom.xml文件,添加如下:


4.下载依赖。添加完成之后,刷新Maven,它会帮助我们去下载依赖。

5.编写代码。修改文件夹的名字。

6.新建Scala类。如果这里没有看到Scala类的选项,就去检查第2步。

选择Object,输入WordCount


7.编写代码如下

它的功能是wordcount的功能:从指定的文件夹中去读取文件,并做词频统计。


8.准备待统计的词频文件。在项目根目录下建立文件夹input,并穿件两个文本文件:word1.txt, word2.txt。如下图。


9.运行代码。点击运行代码。

10生成结果如上右图。

相关推荐
2501_9167665414 分钟前
【IDEA2017】使用设置+创建项目的不同方式
java·intellij-idea
funfan051718 分钟前
IDEA基础配置优化指南(中英双版)
java·ide·intellij-idea
罗小爬EX19 分钟前
在IDEA中设置新建Java类时自动添加类注释
java·intellij-idea
彬彬醤28 分钟前
Mac怎么连接VPS?可以参考这几种方法
大数据·运维·服务器·数据库·线性代数·macos·矩阵
星域智链38 分钟前
车载 GPS 与手机导航的终极对决:谁在复杂路况下更胜一筹?
大数据·科技·ai
MaxCode-12 小时前
单智能体篇:Prompt工程艺术
大数据·人工智能·prompt
计算机毕设残哥5 小时前
大数据毕业设计推荐:基于Hadoop+Spark的手机信息分析系统完整方案
大数据·hadoop·课程设计
Hello.Reader5 小时前
Elasticsearch Rails 集成(elasticsearch-model / ActiveRecord)
大数据·elasticsearch·jenkins
代码的余温7 小时前
Elasticsearch核心概念
大数据·elasticsearch·搜索引擎
TDengine (老段)7 小时前
TDengine IDMP 应用场景:微电网监控
大数据·数据库·物联网·ai·时序数据库·tdengine·涛思数据