运行Spark程序-在Idea中(二)

(四) 使用Maven创建新项目

核心的操作步骤如下:

1.启动idea,选择新建项目。

2.将Scala添加到全局库中。

3.设置maven依赖项。修改pom.xml文件,添加如下:


4.下载依赖。添加完成之后,刷新Maven,它会帮助我们去下载依赖。

5.编写代码。修改文件夹的名字。

6.新建Scala类。如果这里没有看到Scala类的选项,就去检查第2步。

选择Object,输入WordCount


7.编写代码如下

它的功能是wordcount的功能:从指定的文件夹中去读取文件,并做词频统计。


8.准备待统计的词频文件。在项目根目录下建立文件夹input,并穿件两个文本文件:word1.txt, word2.txt。如下图。


9.运行代码。点击运行代码。

10生成结果如上右图。

相关推荐
heart000_15 小时前
IDEA 插件推荐:提升编程效率
java·ide·intellij-idea
计算机人哪有不疯的6 小时前
图文展示HDFS、YARN、MapReduce三者关系
大数据·spark
祈5336 小时前
MapReduce 的工作原理
大数据·mapreduce
Agatha方艺璇6 小时前
MapReduce报错 HADOOP_HOME and hadoop.home.dir are unset.
大数据·hadoop·mapreduce
@十八子德月生7 小时前
8天Python从入门到精通【itheima】-1~5
大数据·开发语言·python·学习
元6337 小时前
Hadoop集群的常用命令
大数据·hadoop
Meta398 小时前
解决IDEA Maven编译时@spring.profiles.active@没有替换成具体环境变量的问题
spring·maven·intellij-idea
武汉格发Gofartlic9 小时前
FEKO许可证的安全与合规性
大数据·运维·安全
姬激薄9 小时前
HDFS概述
大数据·hadoop·hdfs