spark小任务

复制代码
import org.apache.spark.{Partitioner, SparkConf, SparkContext}

object PartitionCustom {
  // 分区器决定哪一个元素进入某一个分区

  // 目标: 把10个分区器,偶数分在第一个分区,奇数分在第二个分区
  // 自定义分区器
  // 1. 创建一个类继承Partitioner
  // 2. 重写两个方法
  // 3. 在创建RDD的时候,partitionBy方法 指定分区器

  // 创建一个类继承Partitioner
  class MyPartitioner extends Partitioner{
     override def numPartitions: Int = 2 // 两个分区,编号就是:0,1

    // key - value
     override def getPartition(key: Any): Int = {
        if(key.asInstanceOf[Int] % 2 == 0){
          0
        }else{
          1
        }
     }
  }
  def main(args: Array[String]): Unit = {
    // 创建SparkContext
    val conf = new SparkConf().setAppName("PartitionCustom").setMaster("local[*]")
    val sc = new SparkContext(conf)

    // 初始数据
    val rdd = sc.parallelize(List(1, 2, 3, 4, 5, 6, 7, 8, 9, 10))

    //val rdd = sc.parallelize(List(  (1,1),  (2,2))
    // 自定义分区器使用的前提:数据是key-value类型
    val rdd1 = rdd.map(num =>(num,num))

    // 使用自定义分区器
    val rdd2 = rdd1.partitionBy(new MyPartitioner)

    // 在分区完成之后的基础上,只保留key
    val rdd3 = rdd2.map(t => t._1)

    rdd3.saveAsTextFile("output6")
  }
}
相关推荐
幼稚园的山代王1 小时前
RabbitMQ 4.1.1初体验-队列和交换机
分布式·rabbitmq·ruby
小新学习屋2 小时前
Spark从入门到熟悉(篇三)
大数据·分布式·spark
rui锐rui2 小时前
大数据学习2:HIve
大数据·hive·学习
G皮T2 小时前
【Elasticsearch】检索高亮
大数据·elasticsearch·搜索引擎·全文检索·kibana·检索·高亮
沉着的码农5 小时前
【设计模式】基于责任链模式的参数校验
java·spring boot·分布式
zskj_zhyl7 小时前
智慧养老丨从依赖式养老到自主式养老:如何重构晚年生活新范式
大数据·人工智能·物联网
哲科软件7 小时前
从“电话催维修“到“手机看进度“——售后服务系统开发如何重构客户体验
大数据·智能手机·重构
zzywxc7877 小时前
AI 正在深度重构软件开发的底层逻辑和全生命周期,从技术演进、流程重构和未来趋势三个维度进行系统性分析
java·大数据·开发语言·人工智能·spring
专注API从业者7 小时前
构建淘宝评论监控系统:API 接口开发与实时数据采集教程
大数据·前端·数据库·oracle
一瓣橙子9 小时前
缺少关键的 MapReduce 框架文件
大数据·mapreduce