使用Spark计算WordCount

使用Spark统计单词计数,即Word Count的思路如下:

  1. 首先按行拆分单词,每个单词的初始计数为1
  2. 然后对相同的单词进行合并,并计数累加
  3. 对结果格式化输出

主要使用map,flatmap,reduceByKey算子进行计算统计,代码如下:

scala 复制代码
object WordCount {
    // 单词分隔符
    val delimiter = ","

    def main(args: Array[String]): Unit = {
        // 据说Spark-3.x可使用SPARK_USER环境变量指定用户名
        System.setProperty("user.name", "hdfs")

        // yarn-cluster模式时,只能通过spark-submit.sh方式提交
        val sparkConf = new SparkConf().setAppName("xuxm-test").setMaster("yarn-cluster")
        val sc = SparkContext.getOrCreate(sparkConf)

        // 计算WordCount,可用spark.sparkContext代替sc
        val file = sc.textFile("/Users/Xxx/input/wc_in.txt")
        val words = file.flatMap(line => line.split(delimiter))
        val pairs = words.map(word => (word, 1))
        // 自动按pairs中每个元祖的第一个元素作为key,第二个元素作为value,a和b参数分别表示要合并的相同key的2个元祖的value
        val counts = pairs.reduceByKey((a, b) => a + b)
        val wc = counts.map(p => p._1 + ":" + p._2)
        // 以上计算过程也可简化为如下形式
        // val wc = file.flatMap(_.split(delimiter)).map((_, 1)).reduceByKey(_ + _).map(p => p._1 + ":" + p._2)
        wc.collect().foreach(println) // collect结果是一个Array,也可直接foreach打印
        // 也可结果保存到文件中
        // wc.saveAsTextFile("/Users/Xxx/output/wc_out")
        sc.stop()
    }
}
相关推荐
鼠鼠我捏,要死了捏11 小时前
Spark Structured Streaming端到端延迟优化实践指南
spark·performance-optimization·structured-streaming
武子康13 小时前
大数据-106 Spark Graph X案例:1图计算、2连通图算法、3寻找相同用户 高效分区、负载均衡与迭代优化
大数据·后端·spark
计算机编程小央姐1 天前
GitHub热门大数据项目:基于人体生理指标管理的可视化分析系统技术解析
大数据·hadoop·hdfs·数据分析·spark·github·课程设计
IT毕设梦工厂1 天前
大数据毕业设计选题推荐-基于大数据的气候驱动的疾病传播可视化分析系统-Hadoop-Spark-数据可视化-BigData
大数据·hadoop·spark·毕业设计·源码·数据可视化·bigdata
孟意昶1 天前
Spark专题-第二部分:Spark SQL 入门(4)-算子介绍-Exchange
大数据·数据仓库·sql·spark·etl
孟意昶1 天前
Spark专题-第二部分:Spark SQL 入门(2)-算子介绍-Scan/Filter/Project
大数据·hive·分布式·sql·spark
zhixingheyi_tian1 天前
Spark rule
大数据·分布式·spark
王百万_1 天前
【浅谈Spark和Flink区别及应用】
大数据·数据库·分布式·flink·spark·数据治理·数据库架构
哈哈很哈哈1 天前
Spark核心Storage详解
java·ajax·spark
孟意昶1 天前
Spark专题-第二部分:Spark SQL 入门(5)-算子介绍-Join
大数据·分布式·sql·spark·big data