在IDEA中编写Spark程序并运行

Spark是基于scala的,当然它也可以支持java和scala还有python语言,我们这里会使用scala。

1.在Idea中安装插件,使得Idea中可以编写scala代码。

2.使用Maven创建项目,并在pom.xml文件中配置相关的依赖。

3.设置maven依赖项。修改pom.xml文件,添加如下

4.下载依赖。添加完成之后,刷新Maven,它会帮助我们去下载依赖。

6.新建Scala类。如果这里没有看到Scala类的选项,就去检查第2步。

编写代码如下:


8.准备待统计的词频文件。在项目根目录下建立文件夹input,并穿件两个文本文件:word1.txt, word2.txt


9.运行代码。点击运行代码,生成代码如下

相关推荐
掌心向暖RPA自动化17 小时前
如何获取网页某个元素在屏幕可见部分的中心坐标影刀RPA懒加载坐标定位技巧
java·javascript·自动化·rpa·影刀rpa
日取其半万世不竭17 小时前
Minecraft Java版社区服务器搭建教程(Linux,适合新手)
java·linux·服务器
TeamDev18 小时前
JxBrowser 9.0.0 版本发布啦!
java·前端·混合应用·jxbrowser·浏览器控件·跨平台渲染·原声输入
AI人工智能+电脑小能手19 小时前
【大白话说Java面试题】【Java基础篇】第24题:Java面向对象有哪些特征
java·开发语言·后端·面试
AI人工智能+电脑小能手19 小时前
【大白话说Java面试题】【Java基础篇】第25题:JDK1.8的新特性有哪些
java·开发语言·后端·面试
likerhood19 小时前
SLF4J: Failed to load class “StaticLoggerBinder“ 解决
java·log4j·maven
早日退休!!!20 小时前
大模型推理瓶颈七层分析模型
java·服务器·数据库
howard200520 小时前
2.4.3 集群模式运行Spark项目
spark·项目打包·提交运行
叶小鸡20 小时前
Java 篇-项目实战-天机学堂(从0到1)-day9
java·开发语言
孤雪心殇20 小时前
快速上手数仓基础知识
数据仓库·hive·spark