在IDEA中编写Spark程序并运行

Spark是基于scala的,当然它也可以支持java和scala还有python语言,我们这里会使用scala。

1.在Idea中安装插件,使得Idea中可以编写scala代码。

2.使用Maven创建项目,并在pom.xml文件中配置相关的依赖。

3.设置maven依赖项。修改pom.xml文件,添加如下

4.下载依赖。添加完成之后,刷新Maven,它会帮助我们去下载依赖。

6.新建Scala类。如果这里没有看到Scala类的选项,就去检查第2步。

编写代码如下:


8.准备待统计的词频文件。在项目根目录下建立文件夹input,并穿件两个文本文件:word1.txt, word2.txt


9.运行代码。点击运行代码,生成代码如下

相关推荐
身如柳絮随风扬4 小时前
Java中的CAS机制详解
java·开发语言
风筝在晴天搁浅5 小时前
hot100 78.子集
java·算法
故事和你916 小时前
sdut-Java面向对象-06 继承和多态、抽象类和接口(函数题:10-18题)
java·开发语言·算法·面向对象·基础语法·继承和多态·抽象类和接口
Configure-Handler7 小时前
buildroot System configuration
java·服务器·数据库
:Concerto7 小时前
JavaSE 注解
java·开发语言·sprint
电商API_180079052478 小时前
第三方淘宝商品详情 API 全维度调用指南:从技术对接到生产落地
java·大数据·前端·数据库·人工智能·网络爬虫
一点程序8 小时前
基于SpringBoot的选课调查系统
java·spring boot·后端·选课调查系统
C雨后彩虹8 小时前
计算疫情扩散时间
java·数据结构·算法·华为·面试
2601_949809598 小时前
flutter_for_openharmony家庭相册app实战+我的Tab实现
java·javascript·flutter
vx_BS813308 小时前
【直接可用源码免费送】计算机毕业设计精选项目03574基于Python的网上商城管理系统设计与实现:Java/PHP/Python/C#小程序、单片机、成品+文档源码支持定制
java·python·课程设计