使用ReduceByKey在Spark中进行词频统计

Spark采用Local模式运行,Spark版本3.2.0,Scala版本2.12,集成idea开发环境。

实验代码

scala 复制代码
import org.apache.spark.{SparkConf, SparkContext}

object ReduceByKey {

  def main(args: Array[String]): Unit = {
    // 创建 SparkConf 并设置相关配置
    val conf = new SparkConf().setAppName("WordCountExample").setMaster("local[*]")

    // 创建 SparkContext
    val sc = new SparkContext(conf)

    // 定义要计数的单词列表
    val wordList = List("hello", "world", "hello", "spark", "world", "spark", "hello")

    // 将列表转换为RDD
    val rdd = sc.parallelize(wordList)

    rdd.foreach(v => println(v))

    // 对单词进行映射计数,相同的键进行累加
    val rdd2 = rdd.map(v => (v, 1)).reduceByKey(_ + _)

    // 打印单词计数结果
    rdd2.foreach(println)

    // 关闭 SparkContext
    sc.stop()
  }
}

在执行 reduceByKey(_ + _) 这一步后,生成的 RDD 将包含每个单词及其对应的累加值,数据结构类似于 (单词, 累加值)。

在上下文中,_ + _ 表示一个匿名函数,用于对两个相同类型的值进行相加操作。在这里,这两个值是指 reduceByKey 函数对于相同键的两个值。具体来说:

第一个 _ 表示相同键的第一个值。

第二个 _ 表示相同键的第二个值。

在这个例子中,键是单词,而值是累加的次数。所以 _ + _ 表示将相同键的值(即累加的次数)相加,以得到该键对应的总累加值。

实验结果

复制代码
hello
hello
spark
world
world
spark
hello

(spark,2)
(hello,3)
(world,2)
相关推荐
你觉得2056 小时前
哈尔滨工业大学DeepSeek公开课:探索大模型原理、技术与应用从GPT到DeepSeek|附视频与讲义下载方法
大数据·人工智能·python·gpt·学习·机器学习·aigc
啊喜拔牙6 小时前
1. hadoop 集群的常用命令
java·大数据·开发语言·python·scala
别惊鹊6 小时前
MapReduce工作原理
大数据·mapreduce
8K超高清6 小时前
中国8K摄像机:科技赋能文化传承新图景
大数据·人工智能·科技·物联网·智能硬件
2401_871290588 小时前
MapReduce 的工作原理
大数据·mapreduce
SelectDB技术团队9 小时前
Apache Doris 2025 Roadmap:构建 GenAI 时代实时高效统一的数据底座
大数据·数据库·数据仓库·人工智能·ai·数据分析·湖仓一体
你觉得2059 小时前
浙江大学朱霖潮研究员:《人工智能重塑科学与工程研究》以蛋白质结构预测为例|附PPT下载方法
大数据·人工智能·机器学习·ai·云计算·aigc·powerpoint
益莱储中国10 小时前
世界通信大会、嵌入式展及慕尼黑上海光博会亮点回顾
大数据
Loving_enjoy10 小时前
基于Hadoop的明星社交媒体影响力数据挖掘平台:设计与实现
大数据·hadoop·数据挖掘
浮尘笔记10 小时前
go-zero使用elasticsearch踩坑记:时间存储和展示问题
大数据·elasticsearch·golang·go