在IDEA中编写Spark程序并运行

Spark是基于scala的,当然它也可以支持java和scala还有python语言,我们这里会使用scala。

1.在Idea中安装插件,使得Idea中可以编写scala代码。

2.使用Maven创建项目,并在pom.xml文件中配置相关的依赖。

3.设置maven依赖项。修改pom.xml文件,添加如下

4.下载依赖。添加完成之后,刷新Maven,它会帮助我们去下载依赖。

6.新建Scala类。如果这里没有看到Scala类的选项,就去检查第2步。

编写代码如下:


8.准备待统计的词频文件。在项目根目录下建立文件夹input,并穿件两个文本文件:word1.txt, word2.txt


9.运行代码。点击运行代码,生成代码如下

相关推荐
weixin_4723394616 分钟前
高效处理大体积Excel文件的Java技术方案解析
java·开发语言·excel
小毛驴85043 分钟前
Linux 后台启动java jar 程序 nohup java -jar
java·linux·jar
DKPT1 小时前
Java桥接模式实现方式与测试方法
java·笔记·学习·设计模式·桥接模式
好奇的菜鸟3 小时前
如何在IntelliJ IDEA中设置数据库连接全局共享
java·数据库·intellij-idea
DuelCode4 小时前
Windows VMWare Centos Docker部署Springboot 应用实现文件上传返回文件http链接
java·spring boot·mysql·nginx·docker·centos·mybatis
优创学社24 小时前
基于springboot的社区生鲜团购系统
java·spring boot·后端
幽络源小助理4 小时前
SpringBoot基于Mysql的商业辅助决策系统设计与实现
java·vue.js·spring boot·后端·mysql·spring
猴哥源码4 小时前
基于Java+springboot 的车险理赔信息管理系统
java·spring boot
YuTaoShao5 小时前
【LeetCode 热题 100】48. 旋转图像——转置+水平翻转
java·算法·leetcode·职场和发展
Dcs5 小时前
超强推理不止“大”——手把手教你部署 Mistral Small 3.2 24B 大模型
java