import org.apache.spark.{Partitioner, SparkConf, SparkContext}
object PartitionCustom {
// 分区器决定哪一个元素进入某一个分区
// 目标: 把10个分区器,偶数分在第一个分区,奇数分在第二个分区
// 自定义分区器
// 1. 创建一个类继承Partitioner
// 2. 重写两个方法
// 3. 在创建RDD的时候,partitionBy方法 指定分区器
// 创建一个类继承Partitioner
class MyPartitioner extends Partitioner{
override def numPartitions: Int = 2 // 两个分区,编号就是:0,1
// key - value
override def getPartition(key: Any): Int = {
if(key.asInstanceOf[Int] % 2 == 0){
0
}else{
1
}
}
}
def main(args: Array[String]): Unit = {
// 创建SparkContext
val conf = new SparkConf().setAppName("PartitionCustom").setMaster("local[*]")
val sc = new SparkContext(conf)
// 初始数据
val rdd = sc.parallelize(List(1, 2, 3, 4, 5, 6, 7, 8, 9, 10))
//val rdd = sc.parallelize(List( (1,1), (2,2))
// 自定义分区器使用的前提:数据是key-value类型
val rdd1 = rdd.map(num =>(num,num))
// 使用自定义分区器
val rdd2 = rdd1.partitionBy(new MyPartitioner)
// 在分区完成之后的基础上,只保留key
val rdd3 = rdd2.map(t => t._1)
rdd3.saveAsTextFile("output6")
}
}
spark小任务
只因只因爆2025-05-15 18:20
相关推荐
沉着的码农2 小时前
【设计模式】基于责任链模式的参数校验zskj_zhyl3 小时前
智慧养老丨从依赖式养老到自主式养老:如何重构晚年生活新范式哲科软件4 小时前
从“电话催维修“到“手机看进度“——售后服务系统开发如何重构客户体验zzywxc7874 小时前
AI 正在深度重构软件开发的底层逻辑和全生命周期,从技术演进、流程重构和未来趋势三个维度进行系统性分析专注API从业者4 小时前
构建淘宝评论监控系统:API 接口开发与实时数据采集教程一瓣橙子5 小时前
缺少关键的 MapReduce 框架文件永洪科技12 小时前
永洪科技荣获商业智能品牌影响力奖,全力打造”AI+决策”引擎weixin_3077791313 小时前
Hive集群之间迁移的Linux Shell脚本ZHOU_WUYI13 小时前
一个简单的分布式追踪系统上海锝秉工控16 小时前
防爆拉线位移传感器:工业安全的“隐形守护者”