在IDEA中编写Spark程序并运行

Spark是基于scala的,当然它也可以支持java和scala还有python语言,我们这里会使用scala。

1.在Idea中安装插件,使得Idea中可以编写scala代码。

2.使用Maven创建项目,并在pom.xml文件中配置相关的依赖。

3.设置maven依赖项。修改pom.xml文件,添加如下

4.下载依赖。添加完成之后,刷新Maven,它会帮助我们去下载依赖。

6.新建Scala类。如果这里没有看到Scala类的选项,就去检查第2步。

编写代码如下:


8.准备待统计的词频文件。在项目根目录下建立文件夹input,并穿件两个文本文件:word1.txt, word2.txt


9.运行代码。点击运行代码,生成代码如下

相关推荐
luming-024 分钟前
java报错解决:sun.net.utils不存
java·经验分享·bug·.net·intellij-idea
北海有初拥12 分钟前
Python基础语法万字详解
java·开发语言·python
alonewolf_9915 分钟前
Spring IOC容器扩展点全景:深入探索与实践演练
java·后端·spring
super_lzb18 分钟前
springboot打war包时将外部配置文件打入到war包内
java·spring boot·后端·maven
毛小茛19 分钟前
芋道管理系统学习——项目结构
java·学习
东北小狐狸-Hellxz36 分钟前
解决java客户端连接ssh失败问题
java·网络·ssh
悟能不能悟36 分钟前
HttpServletRequest request获取整个headers有什么方法
java
__万波__37 分钟前
二十三种设计模式(二十)--解释器模式
java·设计模式·解释器模式
网安_秋刀鱼1 小时前
【java安全】反序列化 - CC1链
java·c语言·安全
零度@1 小时前
Java消息中间件-Kafka全解(2026精简版)
java·kafka·c#·linq