如何在Idea中编写Spark程序并运行

启动条件

下载好关于所需要的空间,配置好相应的环境,例如Scala,jdk

设置maven依赖项。修改pom.xml文件,添加如下:
<properties>

<maven.compiler.source>8</maven.compiler.source>

<maven.compiler.target>8</maven.compiler.target>

<project.build.sourceEncoding>UTF-8</project.build.sourceEncoding>

</properties>

<!-- 声明并引入共有的依赖-->

<dependencies>

<!-- scala-library-->

<dependency>

<groupId>org.scala-lang</groupId>

<artifactId>scala-library</artifactId>

<version>2.12.15</version>

</dependency>

<dependency>

<groupId>org.apache.spark</groupId>

<artifactId>spark-core_2.12</artifactId>

<version>3.2.2</version>

</dependency>

</dependencies>

</project>
编写代码如下

它的功能是wordcount的功能:从指定的文件夹中去读取文件,并做词频统计。

import org.apache.spark.{SparkConf, SparkContext}

object WordCount{

def main(args: Array[String]): Unit = {

// 配置 Spark 应用程序

val conf = new SparkConf().setAppName("WordCount").setMaster("local[*]")

// 创建 SparkContext 对象

val sc = new SparkContext(conf)

// 读取目录下的所有文本文件

val textFiles = sc.wholeTextFiles("input")

// 提取文本内容并执行 WordCount 操作

val counts = textFiles.flatMap { case (, content) => content.split("\\s+") }.map(word => (word, 1)).reduceByKey( + _)

// 将所有分区的数据合并成一个分区

val singlePartitionCounts = counts.coalesce(1)

// 保存结果到文件

singlePartitionCounts.saveAsTextFile("output")

// 停止 SparkContext

sc.stop()

}

}

最后准备待统计的词频文件。在项目根目录下建立文件夹input,并创建两个文本文件:word1.txt, word2.txt并运行就可以了

相关推荐
喂完待续7 分钟前
【序列晋升】45 Spring Data Elasticsearch 实战:3 个核心方案破解索引管理与复杂查询痛点,告别低效开发
java·后端·spring·big data·spring data·序列晋升
郑重其事,鹏程万里10 分钟前
commons-exec
java
龙茶清欢11 分钟前
具有实际开发参考意义的 MyBatis-Plus BaseEntity 基类示例
java·spring boot·spring cloud·mybatis
神龙斗士24014 分钟前
Java 数组的定义与使用
java·开发语言·数据结构·算法
计算机学姐14 分钟前
基于微信小程序的扶贫助农系统【2026最新】
java·vue.js·spring boot·mysql·微信小程序·小程序·mybatis
白露与泡影15 分钟前
2025互联网大厂高频Java面试真题解析
java·开发语言·面试
forever銳16 分钟前
java中如何保证接口幂等性
java·后端
柯南二号17 分钟前
【Java后端】MyBatis 和 MyBatis-Plus (MP) 的区别
java·数据库·tomcat
C++chaofan21 分钟前
游标查询在对话历史场景下的独特优势
java·前端·javascript·数据库·spring boot
匿名45924 分钟前
Lombok注解使用无效的情况(未能获得后端数据)
java·开发语言