2023_Spark_实验九:编写WordCount程序(Scala版)

需求:

1、做某个文件的词频统计//某个单词在这个文件出现次数

步骤:

  1. 文件单词规律(空格分开)
  2. 单词切分
  3. 单词的统计(k,v)->(k:单词,V:数量)
  4. 打印

框架:

  1. 单例对象,main()
  2. 创建CONF
  3. 创建SC-->读取文件的方式--》RDD
  4. RDD进行处理
  5. 闭资源关

一、新建object类取名为WordCount

2、编写如下代码

Scala 复制代码
import org.apache.spark.{SparkConf, SparkContext}

object WordCount {
    def main(args: Array[String]): Unit = {
        System.setProperty("hadoop.home.dir","D:\\hadoop\\hadoop-2.8.0")
        val sparkConf= new SparkConf().setAppName("WordCount").setMaster("local") //设置为本地模式

        val sc = new SparkContext(sparkConf)
        sc.setLogLevel("WARN")
        val resultArray = sc.textFile(path = "file:///d:/temp/a.txt")
            .flatMap(_.split(" "))
            .map((_,1))
            .reduceByKey(_+_)
            .collect()
        resultArray.foreach(println )
        sc.stop()
    }

}

3、本地运行,查看运行结果如下:

解决无法下载spark与打包插件的办法

maven打包插件与spark所需依赖下载地址:

链接:百度网盘 请输入提取码

提取码:jnta

解决步骤:

到网盘下载maven打包插件与spark依赖,网盘吗中的内容如下:

  1. 将下载的插件plugins.rar解压,并复制插件文件夹到你本地maven仓库下
  2. 将下载的spark依赖spark.rar解压,并复制spark文件夹到你本地maven仓库下
  3. 重启idea,重新build下工程

将下载的插件plugins.rar解压,并复制插件文件夹到你本地maven仓库下

将下载的spark依赖spark.rar解压,并复制spark文件夹到你本地maven仓库下

重启idea,重新build下工程

相关推荐
阿里云大数据AI技术6 小时前
StarRocks 助力数禾科技构建实时数仓:从数据孤岛到智能决策
大数据
Lx35211 小时前
Hadoop数据处理优化:减少Shuffle阶段的性能损耗
大数据·hadoop
武子康15 小时前
大数据-99 Spark Streaming 数据源全面总结:原理、应用 文件流、Socket、RDD队列流
大数据·后端·spark
阿里云大数据AI技术1 天前
大数据公有云市场第一,阿里云占比47%!
大数据
Lx3521 天前
Hadoop容错机制深度解析:保障作业稳定运行
大数据·hadoop
计算机毕业设计木哥2 天前
计算机毕设选题推荐:基于Java+SpringBoot物品租赁管理系统【源码+文档+调试】
java·vue.js·spring boot·mysql·spark·毕业设计·课程设计
T06205142 天前
工具变量-5G试点城市DID数据(2014-2025年
大数据
向往鹰的翱翔2 天前
BKY莱德因:5大黑科技逆转时光
大数据·人工智能·科技·生活·健康医疗
鸿乃江边鸟2 天前
向量化和列式存储
大数据·sql·向量化
IT毕设梦工厂2 天前
大数据毕业设计选题推荐-基于大数据的客户购物订单数据分析与可视化系统-Hadoop-Spark-数据可视化-BigData
大数据·hadoop·数据分析·spark·毕业设计·源码·bigdata