2023_Spark_实验九:编写WordCount程序(Scala版)

需求:

1、做某个文件的词频统计//某个单词在这个文件出现次数

步骤:

  1. 文件单词规律(空格分开)
  2. 单词切分
  3. 单词的统计(k,v)->(k:单词,V:数量)
  4. 打印

框架:

  1. 单例对象,main()
  2. 创建CONF
  3. 创建SC-->读取文件的方式--》RDD
  4. RDD进行处理
  5. 闭资源关

一、新建object类取名为WordCount

2、编写如下代码

Scala 复制代码
import org.apache.spark.{SparkConf, SparkContext}

object WordCount {
    def main(args: Array[String]): Unit = {
        System.setProperty("hadoop.home.dir","D:\\hadoop\\hadoop-2.8.0")
        val sparkConf= new SparkConf().setAppName("WordCount").setMaster("local") //设置为本地模式

        val sc = new SparkContext(sparkConf)
        sc.setLogLevel("WARN")
        val resultArray = sc.textFile(path = "file:///d:/temp/a.txt")
            .flatMap(_.split(" "))
            .map((_,1))
            .reduceByKey(_+_)
            .collect()
        resultArray.foreach(println )
        sc.stop()
    }

}

3、本地运行,查看运行结果如下:

解决无法下载spark与打包插件的办法

maven打包插件与spark所需依赖下载地址:

链接:百度网盘 请输入提取码

提取码:jnta

解决步骤:

到网盘下载maven打包插件与spark依赖,网盘吗中的内容如下:

  1. 将下载的插件plugins.rar解压,并复制插件文件夹到你本地maven仓库下
  2. 将下载的spark依赖spark.rar解压,并复制spark文件夹到你本地maven仓库下
  3. 重启idea,重新build下工程

将下载的插件plugins.rar解压,并复制插件文件夹到你本地maven仓库下

将下载的spark依赖spark.rar解压,并复制spark文件夹到你本地maven仓库下

重启idea,重新build下工程

相关推荐
天翼云开发者社区1 小时前
flink on k8s的基本介绍
大数据
问道飞鱼2 小时前
【大数据相关】ClickHouse命令行与SQL语法详解
大数据·sql·clickhouse
27^×2 小时前
Linux 常用命令速查手册:从入门到实战的高频指令整理
java·大数据·linux
天翼云开发者社区2 小时前
Flink 与Flink可视化平台StreamPark教程(CDC功能)
大数据·flink
h_k100862 小时前
当GitHub宕机时,我们如何协作?
大数据·elasticsearch·搜索引擎
武子康2 小时前
Java-122 深入浅出 MySQL CAP理论详解与分布式事务实践:从2PC到3PC与XA模式
java·大数据·数据库·分布式·mysql·性能优化·系统架构
跨境小新3 小时前
Facebook广告拒登是为什么?如何减少拒登概率?
大数据·网络
中电金信3 小时前
中电金信携手海光推出金融业云原生基础设施联合解决方案
大数据·人工智能
科技小郑4 小时前
吱吱企业即时通讯以安全为基,重塑安全办公新体验
大数据·网络·人工智能·安全·信息与通信·吱吱企业通讯
彬彬醤4 小时前
TikTok矩阵有哪些运营支撑方案?
大数据·网络·网络协议·tcp/ip·矩阵·udp·产品运营