如何在Idea中编写Spark程序并运行

启动条件

下载好关于所需要的空间,配置好相应的环境,例如Scala,jdk

设置maven依赖项。修改pom.xml文件,添加如下:
<properties>

<maven.compiler.source>8</maven.compiler.source>

<maven.compiler.target>8</maven.compiler.target>

<project.build.sourceEncoding>UTF-8</project.build.sourceEncoding>

</properties>

<!-- 声明并引入共有的依赖-->

<dependencies>

<!-- scala-library-->

<dependency>

<groupId>org.scala-lang</groupId>

<artifactId>scala-library</artifactId>

<version>2.12.15</version>

</dependency>

<dependency>

<groupId>org.apache.spark</groupId>

<artifactId>spark-core_2.12</artifactId>

<version>3.2.2</version>

</dependency>

</dependencies>

</project>
编写代码如下

它的功能是wordcount的功能:从指定的文件夹中去读取文件,并做词频统计。

import org.apache.spark.{SparkConf, SparkContext}

object WordCount{

def main(args: Array[String]): Unit = {

// 配置 Spark 应用程序

val conf = new SparkConf().setAppName("WordCount").setMaster("local[*]")

// 创建 SparkContext 对象

val sc = new SparkContext(conf)

// 读取目录下的所有文本文件

val textFiles = sc.wholeTextFiles("input")

// 提取文本内容并执行 WordCount 操作

val counts = textFiles.flatMap { case (, content) => content.split("\\s+") }.map(word => (word, 1)).reduceByKey( + _)

// 将所有分区的数据合并成一个分区

val singlePartitionCounts = counts.coalesce(1)

// 保存结果到文件

singlePartitionCounts.saveAsTextFile("output")

// 停止 SparkContext

sc.stop()

}

}

最后准备待统计的词频文件。在项目根目录下建立文件夹input,并创建两个文本文件:word1.txt, word2.txt并运行就可以了

相关推荐
纪元A梦5 分钟前
华为OD机试真题——荒岛求生(2025A卷:200分)Java/python/JavaScript/C/C++/GO最佳实现
java·c语言·javascript·c++·python·华为od·go
苹果酱05678 分钟前
iview 表单验证问题 Select 已经选择 还是弹验证提示
java·vue.js·spring boot·mysql·课程设计
电商数据girl2 小时前
【Python爬虫电商数据采集+数据分析】采集电商平台数据信息,并做可视化演示
java·开发语言·数据库·爬虫·python·数据分析
夏季疯2 小时前
学习笔记:黑马程序员JavaWeb开发教程(2025.3.30)
java·笔记·学习
LUCIAZZZ2 小时前
简单介绍分布式定时任务XXL-JOB
java·spring boot·分布式·spring·操作系统·定时任务
bing_1582 小时前
Spring MVC Controller 方法的返回类型有哪些?
java·spring·mvc
奔驰的小野码3 小时前
SpringAI实现AI应用-内置顾问
java·人工智能·后端·spring
普通人zzz~3 小时前
SpringBoot记录用户操作日志
java·spring boot·后端
大三开学菜鸟3 小时前
记录一下spring-cloud-starter-alibaba-nacos-config 2023.0.3.2与springboot版本及配置问题
java·spring boot·后端·spring·intellij-idea
zfj3213 小时前
Lucene多种数据类型使用说明
java·mybatis·lucene