在IDEA中编写Spark程序并运行

Spark是基于scala的,当然它也可以支持java和scala还有python语言,我们这里会使用scala。

1.在Idea中安装插件,使得Idea中可以编写scala代码。

2.使用Maven创建项目,并在pom.xml文件中配置相关的依赖。

3.设置maven依赖项。修改pom.xml文件,添加如下

4.下载依赖。添加完成之后,刷新Maven,它会帮助我们去下载依赖。

6.新建Scala类。如果这里没有看到Scala类的选项,就去检查第2步。

编写代码如下:


8.准备待统计的词频文件。在项目根目录下建立文件夹input,并穿件两个文本文件:word1.txt, word2.txt


9.运行代码。点击运行代码,生成代码如下

相关推荐
It's now10 分钟前
Spring AI 基础开发流程
java·人工智能·后端·spring
cxh_陈11 分钟前
线程的状态,以及和锁有什么关系
java·线程·线程的状态·线程和锁
计算机毕设VX:Fegn089513 分钟前
计算机毕业设计|基于springboot + vue图书商城系统(源码+数据库+文档)
java·数据库·vue.js·spring boot·后端·课程设计
R.lin25 分钟前
Java 8日期时间API完全指南
java·开发语言·python
毕设源码-赖学姐31 分钟前
【开题答辩全过程】以 高校教学质量监控平台为例,包含答辩的问题和答案
java·eclipse
高山上有一只小老虎39 分钟前
翻之矩阵中的行
java·算法
火钳游侠1 小时前
java单行注释,多行注释,文档注释
java·开发语言
code bean1 小时前
【CMake】为什么需要清理 CMake 缓存文件?深入理解 CMake 生成器切换机制
java·spring·缓存
selt7911 小时前
Redisson之RedissonLock源码完全解析
android·java·javascript
RestCloud2 小时前
智能制造的底层基建:iPaaS 如何统一 ERP、MES 与 WMS 的数据流
java·wms·erp·数据传输·ipaas·mes·集成平台