运行Spark程序-在Idea中(二)

(四) 使用Maven创建新项目

核心的操作步骤如下:

1.启动idea,选择新建项目。

2.将Scala添加到全局库中。

3.设置maven依赖项。修改pom.xml文件,添加如下:


4.下载依赖。添加完成之后,刷新Maven,它会帮助我们去下载依赖。

5.编写代码。修改文件夹的名字。

6.新建Scala类。如果这里没有看到Scala类的选项,就去检查第2步。

选择Object,输入WordCount


7.编写代码如下

它的功能是wordcount的功能:从指定的文件夹中去读取文件,并做词频统计。


8.准备待统计的词频文件。在项目根目录下建立文件夹input,并穿件两个文本文件:word1.txt, word2.txt。如下图。


9.运行代码。点击运行代码。

10生成结果如上右图。

相关推荐
行业探路者3 小时前
2026年热销榜单:富媒体展示二维码推荐,助力信息传递新风尚
大数据·音视频·二维码
计算机毕设指导63 小时前
基于微信小程序的智能停车场管理系统【源码文末联系】
java·spring boot·微信小程序·小程序·tomcat·maven·intellij-idea
CTO Plus技术服务中3 小时前
大数据、开发环境、中间件、数据库运维开发教程
大数据·数据库·中间件
独自破碎E3 小时前
IDEA 提示“未配置SpringBoot配置注解处理器“的解决方案
java·spring boot·intellij-idea
BYSJMG3 小时前
2026计算机毕设推荐:基于大数据的车辆二氧化碳排放量可视化分析系统
大数据·vue.js·python·mysql·django·课程设计
OpenMiniServer4 小时前
石化能源文明 vs 电气化能源文明
大数据·人工智能·能源
bigdata-rookie4 小时前
Spark shuffle 和 MapReduce shuffle 的区别
大数据·spark·mapreduce
hans汉斯4 小时前
国产生成式人工智能解决物理问题能力研究——以“智谱AI”、“讯飞星火认知大模型”、“天工”、“360智脑”、“文心一言”为例
大数据·人工智能·算法·aigc·文心一言·汉斯出版社·天工
发哥来了4 小时前
主流AI视频生成商用方案选型评测:关键能力与成本效益分析
大数据·人工智能·音视频
TracyCoder1234 小时前
ElasticSearch内存管理与操作系统(三):并发控制与线程模型
大数据·elasticsearch·搜索引擎