在IDEA中编写Spark程序并运行

Spark是基于scala的,当然它也可以支持java和scala还有python语言,我们这里会使用scala。

1.在Idea中安装插件,使得Idea中可以编写scala代码。

2.使用Maven创建项目,并在pom.xml文件中配置相关的依赖。

3.设置maven依赖项。修改pom.xml文件,添加如下

4.下载依赖。添加完成之后,刷新Maven,它会帮助我们去下载依赖。

6.新建Scala类。如果这里没有看到Scala类的选项,就去检查第2步。

编写代码如下:


8.准备待统计的词频文件。在项目根目录下建立文件夹input,并穿件两个文本文件:word1.txt, word2.txt


9.运行代码。点击运行代码,生成代码如下

相关推荐
qqxhb4 分钟前
零基础学Java——第九章:数据库编程(三)
java·数据库·spring·mybatis
桃林春风一杯酒1 小时前
Listremove数据时报错:Caused by: java.lang.UnsupportedOperationException
java·开发语言
bxp13211 小时前
springboot国家化多语言实现
java·spring boot·后端
纪元A梦1 小时前
贪心算法应用:边着色问题详解
java·算法·贪心算法
古拉拉明亮之神2 小时前
Spark和Hadoop之间的联系
大数据·hadoop·spark
工业互联网专业2 小时前
基于springboot+vue的社区药房系统
java·vue.js·spring boot·毕业设计·源码·课程设计·社区药房系统
API小爬虫2 小时前
如何用爬虫获得按关键字搜索淘宝商品
java·爬虫·python
sanx183 小时前
从零搭建体育比分网站完整步骤
java·开发语言
夏季疯3 小时前
学习笔记:黑马程序员JavaWeb开发教程(2025.3.29)
java·笔记·学习
努力也学不会java4 小时前
【HTTP】《HTTP 全原理解析:从请求到响应的奇妙之旅》
java·网络·网络协议·http