在IDEA中编写Spark程序并运行

Spark是基于scala的,当然它也可以支持java和scala还有python语言,我们这里会使用scala。

1.在Idea中安装插件,使得Idea中可以编写scala代码。

2.使用Maven创建项目,并在pom.xml文件中配置相关的依赖。

3.设置maven依赖项。修改pom.xml文件,添加如下

4.下载依赖。添加完成之后,刷新Maven,它会帮助我们去下载依赖。

6.新建Scala类。如果这里没有看到Scala类的选项,就去检查第2步。

编写代码如下:


8.准备待统计的词频文件。在项目根目录下建立文件夹input,并穿件两个文本文件:word1.txt, word2.txt


9.运行代码。点击运行代码,生成代码如下

相关推荐
字节拾光录3 小时前
Java工具库三足鼎立:Hutool、Apache Commons、Guava深度测评与场景化选型指南
java·apache·guava
爱学习的小可爱卢4 小时前
Java UDP编程实战:UDP数据报套接字编程DatagramPacket、DatagramSocket 、InetSocketAddress
java·udp·udp数据报
未来之窗软件服务4 小时前
幽冥大陆(三十五)S18酒店门锁SDK go语言——东方仙盟筑基期
java·前端·golang·智能门锁·仙盟创梦ide·东方仙盟·东方仙盟sdk
r***93484 小时前
【Redis】在Java中以及Spring环境下操作Redis
java·redis·spring
6***09264 小时前
如何快速搭建简单SpringBoot项目网页
java·spring boot·intellij-idea
q***44814 小时前
spring实例化对象的几种方式(使用XML配置文件)
xml·java·spring
q***98524 小时前
Spring Boot:Java开发的神奇加速器(二)
java·spring boot·后端
x***44015 小时前
Windows操作系统部署Tomcat详细讲解
java·windows·tomcat
小蒜学长5 小时前
基于spring boot的汽车4s店管理系统(代码+数据库+LW)
java·数据库·spring boot·后端·汽车
q***42055 小时前
Spring Data 什么是Spring Data 理解
java·后端·spring