使用ReduceByKey在Spark中进行词频统计

Spark采用Local模式运行,Spark版本3.2.0,Scala版本2.12,集成idea开发环境。

实验代码

scala 复制代码
import org.apache.spark.{SparkConf, SparkContext}

object ReduceByKey {

  def main(args: Array[String]): Unit = {
    // 创建 SparkConf 并设置相关配置
    val conf = new SparkConf().setAppName("WordCountExample").setMaster("local[*]")

    // 创建 SparkContext
    val sc = new SparkContext(conf)

    // 定义要计数的单词列表
    val wordList = List("hello", "world", "hello", "spark", "world", "spark", "hello")

    // 将列表转换为RDD
    val rdd = sc.parallelize(wordList)

    rdd.foreach(v => println(v))

    // 对单词进行映射计数,相同的键进行累加
    val rdd2 = rdd.map(v => (v, 1)).reduceByKey(_ + _)

    // 打印单词计数结果
    rdd2.foreach(println)

    // 关闭 SparkContext
    sc.stop()
  }
}

在执行 reduceByKey(_ + _) 这一步后,生成的 RDD 将包含每个单词及其对应的累加值,数据结构类似于 (单词, 累加值)。

在上下文中,_ + _ 表示一个匿名函数,用于对两个相同类型的值进行相加操作。在这里,这两个值是指 reduceByKey 函数对于相同键的两个值。具体来说:

第一个 _ 表示相同键的第一个值。

第二个 _ 表示相同键的第二个值。

在这个例子中,键是单词,而值是累加的次数。所以 _ + _ 表示将相同键的值(即累加的次数)相加,以得到该键对应的总累加值。

实验结果

复制代码
hello
hello
spark
world
world
spark
hello

(spark,2)
(hello,3)
(world,2)
相关推荐
Jolie_Liang1 小时前
保险业多模态数据融合与智能化运营架构:技术演进、应用实践与发展趋势
大数据·人工智能·架构
武子康2 小时前
大数据-118 - Flink 批处理 DataSet API 全面解析:应用场景、代码示例与优化机制
大数据·后端·flink
文火冰糖的硅基工坊3 小时前
《投资-78》价值投资者的认知升级与交易规则重构 - 架构
大数据·人工智能·重构
卡拉叽里呱啦5 小时前
Apache Iceberg介绍、原理与性能优化
大数据·数据仓库
笨蛋少年派5 小时前
大数据集群环境搭建(Ubantu)
大数据
Elastic 中国社区官方博客5 小时前
在 Elasticsearch 中改进 Agentic AI 工具的实验
大数据·数据库·人工智能·elasticsearch·搜索引擎·ai·全文检索
云雾J视界5 小时前
Flink Checkpoint与反压问题排查手册:从日志分析到根因定位
大数据·阿里云·flink·linq·checkpoint·反压
AI数据皮皮侠5 小时前
中国地级市旅游人数、收入数据(2000-2023年)
大数据·人工智能·python·深度学习·机器学习·旅游
2301_772093566 小时前
tuchuang_myfiles&&share文件列表_共享文件
大数据·前端·javascript·数据库·redis·分布式·缓存
K_i1346 小时前
电信大数据实战:MySQL与Hadoop高效同步
大数据·hadoop·mysql