Spark广播变量(类似小表广播)

广播变量:

举例:取前十的学生信息,处理学生分数信息得到前十学生的学号的数组,通过广播将这个变量广播出去

代码展示如下:

java 复制代码
import org.apache.spark.broadcast.Broadcast
import org.apache.spark.rdd.RDD
import org.apache.spark.{SparkConf, SparkContext}

object Demo17Bro {
  def main(args: Array[String]): Unit = {
    val conf = new SparkConf()
    conf.setAppName("Demo17Bro")
    conf.setMaster("local")

    val sc = new SparkContext(conf)

    //获取总分前十学生的信息

    //1、计算学生的总分
    val sumScoreRDD: RDD[(String, Double)] = sc
      .textFile("data/score.txt")
      .map(_.split(","))
      .map { case Array(id, cId, score) => (id, score.toDouble) }
      .reduceByKey(_ + _)

    //2、取前十
    val ids: Array[String] = sumScoreRDD
      .sortBy { case (_, sumScore) => -sumScore }
      .take(10)
      .map { case (id, sumScore) => id }

    /**
     * 广播变量:当在算子内使用算子外的一个大变量时,同时task的数量远大于Executor数量时,可以将变量广播出去
     */
    //1、将变量广播到Executor端
    val broIds: Broadcast[Array[String]] = sc.broadcast(ids)

    //3、读取学生的信息
    val studentsRDD: RDD[String] = sc.textFile("data/students.txt")

    //4、取出前十学生的信息
    val top10RDD: RDD[String] = studentsRDD
      .filter(stu => {
        //取出学号
        val id: String = stu.split(",").head

        //2、获取广播变量
        broIds.value.contains(id)
      })

    top10RDD.foreach(println)
  }
}
相关推荐
光电笑映1 小时前
TCP 为什么可靠?从三次握手、滑动窗口到拥塞控制全面拆解(下)
linux·网络·网络协议·tcp
如夏倾城7 小时前
入侵检测系统(IDS)原理、部署模式与 IPS/防火墙对比
大数据·网络·人工智能·网络安全·云原生·架构·kubernetes
LabVIEW开发8 小时前
LabVIEW 用 25 ns 精度捕捉赛车发动机共振
网络·labview·labview知识·labview功能·labview程序
赤生云电竞10 小时前
云游戏边缘节点部署实践:机房选址与网络拓扑选型
网络·游戏·php
ITxiaobing202310 小时前
中国广告技术公司海外反欺诈中的 IP 应用:从“库查询”到“多层信号”
网络·tcp/ip·web安全
安易算力10 小时前
智算中心网络架构选型:RDMA/IB/以太网深度对比与落地实践
网络·架构
2401_8685347811 小时前
天融信网络安全面试题
服务器·网络
注塑机数据采集联网13 小时前
注塑机智能数据采集联网网关 ZK-D1/D3 如何读取力劲注塑机控制器数据并对接 MES/IOT 平台
大数据·网络·物联网·数据挖掘·注塑机网关
我不会插花弄玉1 天前
13.多路转接epoll【由浅入深-网络】
网络·c++·epoll
最强小杰1 天前
某 OpenAI 兼容网关上的 `kimi-k3.1-pro`:Cline、Zed 接入与 SSE 排错示例
java·服务器·网络·ai