Spark广播变量(类似小表广播)

广播变量:

举例:取前十的学生信息,处理学生分数信息得到前十学生的学号的数组,通过广播将这个变量广播出去

代码展示如下:

java 复制代码
import org.apache.spark.broadcast.Broadcast
import org.apache.spark.rdd.RDD
import org.apache.spark.{SparkConf, SparkContext}

object Demo17Bro {
  def main(args: Array[String]): Unit = {
    val conf = new SparkConf()
    conf.setAppName("Demo17Bro")
    conf.setMaster("local")

    val sc = new SparkContext(conf)

    //获取总分前十学生的信息

    //1、计算学生的总分
    val sumScoreRDD: RDD[(String, Double)] = sc
      .textFile("data/score.txt")
      .map(_.split(","))
      .map { case Array(id, cId, score) => (id, score.toDouble) }
      .reduceByKey(_ + _)

    //2、取前十
    val ids: Array[String] = sumScoreRDD
      .sortBy { case (_, sumScore) => -sumScore }
      .take(10)
      .map { case (id, sumScore) => id }

    /**
     * 广播变量:当在算子内使用算子外的一个大变量时,同时task的数量远大于Executor数量时,可以将变量广播出去
     */
    //1、将变量广播到Executor端
    val broIds: Broadcast[Array[String]] = sc.broadcast(ids)

    //3、读取学生的信息
    val studentsRDD: RDD[String] = sc.textFile("data/students.txt")

    //4、取出前十学生的信息
    val top10RDD: RDD[String] = studentsRDD
      .filter(stu => {
        //取出学号
        val id: String = stu.split(",").head

        //2、获取广播变量
        broIds.value.contains(id)
      })

    top10RDD.foreach(println)
  }
}
相关推荐
白帽黑客沐瑶19 小时前
【网络安全就业】信息安全专业的就业前景(非常详细)零基础入门到精通,收藏这篇就够了
网络·安全·web安全·计算机·程序员·编程·网络安全就业
树码小子20 小时前
Java网络编程:(socket API编程:TCP协议的 socket API -- 回显程序的服务器端程序的编写)
java·网络·tcp/ip
绿箭柠檬茶1 天前
Ubuntu 服务器配置转发网络访问
服务器·网络·ubuntu
real 11 天前
传输层协议UDP
网络·网络协议·udp
路由侠内网穿透1 天前
本地部署 GPS 跟踪系统 Traccar 并实现外部访问
运维·服务器·网络·windows·tcp/ip
喵手1 天前
玩转Java网络编程:基于Socket的服务器和客户端开发!
java·服务器·网络
徐子元竟然被占了!!1 天前
实验-基本ACL
网络
ftpeak1 天前
从零开始使用 axum-server 构建 HTTP/HTTPS 服务
网络·http·https·rust·web·web app
LabVIEW开发1 天前
LabVIEW气体污染无线监测
网络·labview·labview知识·labview功能·labview程序
error:(1 天前
【从零到公网】本地电脑部署服务并实现公网访问(IPv4/IPv6/DDNS 全攻略)
网络·智能路由器