被关在idea小黑屏里写spark程序

一、先在idea中添加Scala插件

二、使用Maven创建新项目

1.启动idea,选择新建项目。之后的设置如下:

2.将Scala添加到全局库中(注意:Scala的版本不宜太高,最好是2-12.否则后面会报下面这个错误

复制代码
E:\tool接口\SparkCore_01\src\main\scala\WordCount.scala:16:9
illegal cyclic inheritance involving trait Iterable
    val counts = textFiles

3.设置maven依赖项。修改pom.xml文件,添加如下:

XML 复制代码
<!--  添加依赖:  scala-library spark-core-->
    <dependencies>
        <dependency>
            <groupId>org.apache.spark</groupId>
            <artifactId>spark-core_2.12</artifactId>
            <version>3.1.2</version>
        </dependency>
        <dependency>
            <groupId>org.scala-lang</groupId>
            <artifactId>scala-library</artifactId>
            <version>2.12.15</version>
        </dependency>
    </dependencies>

4.下载依赖。添加完成之后,刷新Maven,它会帮助我们去下载依赖。

5.编写代码。修改文件夹的名字。(注意:是在重构里面有重命名)

6.新建Scala类。如果这里没有看到Scala类的选项,就去检查第2步。(如果没有出现scala类,请再次添加全局库。)

7.选择Object,输入WordCount

8.编写代码如下

Scala 复制代码
import org.apache.spark.{SparkConf, SparkContext}
object WordCount{
  def main(args: Array[String]): Unit = {
    // 配置 Spark 应用程序
    val conf = new SparkConf().setAppName("WordCount").setMaster("local[*]")
    // 创建 SparkContext 对象
    val sc = new SparkContext(conf)

    // 读取目录下的所有文本文件
    val textFiles = sc.wholeTextFiles("input")

    // 提取文本内容并执行 WordCount 操作
    val counts = textFiles.flatMap { case (_, content) => content.split("\\s+") }.map(word => (word, 1)).reduceByKey(_ + _)

    // 将所有分区的数据合并成一个分区
    val singlePartitionCounts = counts.coalesce(1)
    // 保存结果到文件
    singlePartitionCounts.saveAsTextFile("output")
    // 停止 SparkContext
    sc.stop()
  }
}

9.准备待统计的词频文件。在项目根目录下建立文件夹input,并穿件两个文本文件:word1.txt, word2.txt。文本内容随意。

10.运行代码。点击运行代码。(红色无所谓,只要后面出现:进程已结束,退出代码为 0。这句就是对的。)

11.生成结果如下。

相关推荐
六毛的毛17 分钟前
Springboot开发常见注解一览
java·spring boot·后端
程序漫游人30 分钟前
centos8.5安装jdk21详细安装教程
java·linux
超级码.里奥.农1 小时前
零基础 “入坑” Java--- 七、数组(二)
java·开发语言
hqxstudying1 小时前
Java创建型模式---单例模式
java·数据结构·设计模式·代码规范
挺菜的1 小时前
【算法刷题记录(简单题)002】字符串字符匹配(java代码实现)
java·开发语言·算法
A__tao1 小时前
一键将 SQL 转为 Java 实体类,全面支持 MySQL / PostgreSQL / Oracle!
java·sql·mysql
一只叫煤球的猫2 小时前
真实事故复盘:Redis分布式锁居然失效了?公司十年老程序员踩的坑
java·redis·后端
猴哥源码2 小时前
基于Java+SpringBoot的农事管理系统
java·spring boot
面朝大海,春不暖,花不开2 小时前
Java网络编程:TCP/UDP套接字通信详解
java·网络·tcp/ip
慕y2742 小时前
Java学习第十五部分——MyBatis
java·学习·mybatis