Spark广播变量(类似小表广播)

广播变量:

举例:取前十的学生信息,处理学生分数信息得到前十学生的学号的数组,通过广播将这个变量广播出去

代码展示如下:

java 复制代码
import org.apache.spark.broadcast.Broadcast
import org.apache.spark.rdd.RDD
import org.apache.spark.{SparkConf, SparkContext}

object Demo17Bro {
  def main(args: Array[String]): Unit = {
    val conf = new SparkConf()
    conf.setAppName("Demo17Bro")
    conf.setMaster("local")

    val sc = new SparkContext(conf)

    //获取总分前十学生的信息

    //1、计算学生的总分
    val sumScoreRDD: RDD[(String, Double)] = sc
      .textFile("data/score.txt")
      .map(_.split(","))
      .map { case Array(id, cId, score) => (id, score.toDouble) }
      .reduceByKey(_ + _)

    //2、取前十
    val ids: Array[String] = sumScoreRDD
      .sortBy { case (_, sumScore) => -sumScore }
      .take(10)
      .map { case (id, sumScore) => id }

    /**
     * 广播变量:当在算子内使用算子外的一个大变量时,同时task的数量远大于Executor数量时,可以将变量广播出去
     */
    //1、将变量广播到Executor端
    val broIds: Broadcast[Array[String]] = sc.broadcast(ids)

    //3、读取学生的信息
    val studentsRDD: RDD[String] = sc.textFile("data/students.txt")

    //4、取出前十学生的信息
    val top10RDD: RDD[String] = studentsRDD
      .filter(stu => {
        //取出学号
        val id: String = stu.split(",").head

        //2、获取广播变量
        broIds.value.contains(id)
      })

    top10RDD.foreach(println)
  }
}
相关推荐
红尘客栈24 分钟前
Kubernetes 集群调度
java·linux·网络·容器·kubernetes
aodunsoft14 分钟前
安全月报 | 傲盾DDoS攻击防御2025年9月简报
网络·安全·ddos
杂化轨道VSEPR24 分钟前
基站计数器与KPI:移动通信网络性能评估的核心引擎
运维·服务器·网络·5g·信息与通信
小张数码24 分钟前
随身WiFi技术深探:通信芯片/信号增益原理解析+开源方案参考!随身WiFi建议买吗?随身WiFi品牌哪个网速快信号稳定?格行随身WiFi怎么样?
网络·物联网
派大星爱吃鱼1 小时前
图解网络(科普版)
网络
饥饿的半导体2 小时前
网络协议工程 - eNSP及相关软件安装 - [eNSP, VirtualBox, WinPcap, Wireshark, Win7]
网络·网络协议·wireshark
大锦终2 小时前
【Linux】udp网络程序
linux·运维·服务器·网络
white-persist3 小时前
JWT 漏洞全解析:从原理到实战
前端·网络·python·安全·web安全·网络安全·系统安全
数据与人工智能律师3 小时前
解码Web3:DeFi、GameFi、SocialFi的法律风险警示与合规路径
大数据·网络·人工智能·云计算·区块链
xingxing_F3 小时前
Network Radar for Mac 网络扫描管理软件
网络·macos