在IDEA中编写Spark程序并运行

Spark是基于scala的,当然它也可以支持java和scala还有python语言,我们这里会使用scala。

1.在Idea中安装插件,使得Idea中可以编写scala代码。

2.使用Maven创建项目,并在pom.xml文件中配置相关的依赖。

3.设置maven依赖项。修改pom.xml文件,添加如下:

4.下载依赖。添加完成之后,刷新Maven,它会帮助我们去下载依赖。

6.新建Scala类。如果这里没有看到Scala类的选项,就去检查第2步。

编写代码如下:


8.准备待统计的词频文件。在项目根目录下建立文件夹input,并穿件两个文本文件:word1.txt, word2.txt


9.运行代码。点击运行代码,生成代码如下

相关推荐
程序员清风1 小时前
Java 智能体开发:从对话接口到任务执行
java·人工智能·python
一 乐1 小时前
博客管理系统|基于springboot + vue博客管理系统(源码+数据库+文档)
java·数据库·vue.js·spring boot·毕设
QuZhengRong1 小时前
【Spring】后端接收的请求参数多了一个逗号的处理办法
java·后端·spring
ZealSinger1 小时前
Go1.25容器感知GOMAXPROCS避限流
java·开发语言
cxoptics1 小时前
LBO 会不会潮解?存储、镀膜、日常使用注意事项?
java
SL_staff1 小时前
非研发人员搭业务逻辑?先认清这3个可视化编程分水岭
java
王闯写bug1 小时前
tomcat老版本下载tomcat8.5下载
java·tomcat
凤山老林2 小时前
Spring Boot DDD 分层架构落地:领域模型、聚合根与事件驱动的业务实战
java·spring boot·架构
自强的小白2 小时前
MYbatis-plus(自定义sql)
java·sql·mybatis