使用Spark计算WordCount

使用Spark统计单词计数,即Word Count的思路如下:

  1. 首先按行拆分单词,每个单词的初始计数为1
  2. 然后对相同的单词进行合并,并计数累加
  3. 对结果格式化输出

主要使用map,flatmap,reduceByKey算子进行计算统计,代码如下:

scala 复制代码
object WordCount {
    // 单词分隔符
    val delimiter = ","

    def main(args: Array[String]): Unit = {
        // 据说Spark-3.x可使用SPARK_USER环境变量指定用户名
        System.setProperty("user.name", "hdfs")

        // yarn-cluster模式时,只能通过spark-submit.sh方式提交
        val sparkConf = new SparkConf().setAppName("xuxm-test").setMaster("yarn-cluster")
        val sc = SparkContext.getOrCreate(sparkConf)

        // 计算WordCount,可用spark.sparkContext代替sc
        val file = sc.textFile("/Users/Xxx/input/wc_in.txt")
        val words = file.flatMap(line => line.split(delimiter))
        val pairs = words.map(word => (word, 1))
        // 自动按pairs中每个元祖的第一个元素作为key,第二个元素作为value,a和b参数分别表示要合并的相同key的2个元祖的value
        val counts = pairs.reduceByKey((a, b) => a + b)
        val wc = counts.map(p => p._1 + ":" + p._2)
        // 以上计算过程也可简化为如下形式
        // val wc = file.flatMap(_.split(delimiter)).map((_, 1)).reduceByKey(_ + _).map(p => p._1 + ":" + p._2)
        wc.collect().foreach(println) // collect结果是一个Array,也可直接foreach打印
        // 也可结果保存到文件中
        // wc.saveAsTextFile("/Users/Xxx/output/wc_out")
        sc.stop()
    }
}
相关推荐
计算机毕业设计木哥1 天前
计算机毕业设计选题推荐:基于Python+Django的新能源汽车数据分析系统
开发语言·hadoop·python·spark·django·课程设计
思辨共悟1 天前
python数据分析 与spark、hive数据分析对比
python·数据分析·spark
Lenskit1 天前
使用pyspark对上百亿行的hive表生成稀疏向量
python·spark-ml·spark
武子康1 天前
大数据-87 Spark 实现圆周率计算与共同好友分析:Scala 实战案例
大数据·后端·spark
BYSJMG1 天前
计算机大数据毕业设计选题:基于Spark+hadoop的全球香水市场趋势分析系统
大数据·vue.js·hadoop·python·spark·django·课程设计
IT研究室1 天前
大数据毕业设计选题推荐-基于大数据的电商物流数据分析与可视化系统-Spark-Hadoop-Bigdata
大数据·hadoop·数据分析·spark·毕业设计·数据可视化·bigdata
渣渣盟1 天前
Spark自定义累加器实现高效WordCount
大数据·spark·scala
IT毕设梦工厂1 天前
大数据毕业设计选题推荐-基于大数据的电信客户流失数据分析系统-Hadoop-Spark-数据可视化-BigData
大数据·hadoop·spark·毕业设计·源码·数据可视化·bigdata
计算机毕业设计木哥2 天前
计算机Python毕业设计推荐:基于Django的酒店评论文本情感分析系统【源码+文档+调试】
开发语言·hadoop·spring boot·python·spark·django·课程设计