kafka学习笔记--分区的好处、策略及自定义分区器

向着百万年薪努力的小赵2023-12-11 12:20

本文内容来自尚硅谷B站公开教学视频，仅做个人总结、学习、复习使用，任何对此文章的引用，应当说明源出处为尚硅谷，不得用于商业用途。

如有侵权、联系速删

视频教程链接：【尚硅谷】Kafka3.x教程（从入门到调优，深入全面）

文章目录

分区的好处

（1）便于合理使用存储资源，每个Partition在一个Broker上存储，可以把海量的数据按照分区切割成一块一块数据存储在多台Broker上。合理控制分区的任务，可以实现负载均衡的效果。

（2）提高并行度，生产者可以以分区为单位发送数据；消费者可以以分区为单位进行消费数据。

生产者分区策略

已经导入kafka依赖的话，全局搜索ProducerRecord类，可以发现这个类里面有很多构造方法，这就是根据不同参数选择不同策略的地方了

可以看到，我们可以只传消息体Value，也可以加上topic，还能加上一个消息体的key，甚至还能指定分区

（1）指明partition的情况下，直接将指明的值作为partition值；例如partition=0，所有数据写入分区0

（2）没有指明partition值但有key的情况下，将key的hash值与topic的partition数进行取余得到partition值；

    例如：key1的hash值=5， key2的hash值=6 ，topic的partition数=2，那么key1 对应的value1写入1号分区，key2对应的value2写入0号分区。

（3）既没有partition值又没有key值的情况下，Kafka采用Sticky Partition（黏性分区器），会随机选择一个分区，并尽可能一直使用该分区，待该分区的batch已满或者已完成，Kafka再随机一个分区进行使用（和上一次的分区不同）。

    例如：第一次随机选择0号分区，等0号分区当前批次满了（默认16k）或者linger.ms设置的时间到， Kafka再随机一个分区进行使用（如果还是0会继续随机）。

案例一：指定partition

java 复制代码 
package com.atguigu.kafka;

import org.apache.kafka.clients.producer.*;
import org.apache.kafka.common.serialization.StringSerializer;

import java.util.Properties;

public class Test {
    public static void main(String[] args) {
        // 1. 创建 kafka 生产者的配置对象
        Properties properties = new Properties();
        // 2. 给 kafka 配置对象添加配置信息
        // 设置 kafka 服务器地址
        properties.put(ProducerConfig.BOOTSTRAP_SERVERS_CONFIG, "hadoop102:9092");
        // 设置 key 和 value 的序列化方式
        properties.put(ProducerConfig.KEY_SERIALIZER_CLASS_CONFIG, StringSerializer.class.getName());
        properties.put(ProducerConfig.VALUE_SERIALIZER_CLASS_CONFIG, StringSerializer.class.getName());

        // 创建 KafkaProducer 对象
        KafkaProducer<String, String> kafkaProducer = new KafkaProducer<>(properties);

        // 发送消息到指定主题的指定分区
        for (int i = 0; i < 5; i++) {
            // 创建 ProducerRecord 对象
            ProducerRecord<String, String> record = new ProducerRecord<>("first", 1, "", "atguigu " + i);
            // 发送消息，并指定回调函数
            kafkaProducer.send(record, new Callback() {
                @Override
                public void onCompletion(RecordMetadata metadata, Exception e) {
                    if (e == null) {
                        // 如果发送成功，则在控制台输出消息的主题和分区信息
                        System.out.println("主题：" + metadata.topic() + "->" + "分区：" + metadata.partition());
                    } else {
                        // 如果发送失败，则在控制台输出异常信息
                        e.printStackTrace();
                    }
                }
            });
        }

        // 关闭 KafkaProducer 对象
        kafkaProducer.close();
    }
}

测试：

①在 hadoop102 上开启 Kafka 消费者。

shell 复制代码 
bin/kafka-console-consumer.sh --bootstrap-server hadoop102:9092 --topic first

②在 IDEA 中执行代码，观察 hadoop102 控制台中是否接收到消息。

shell 复制代码 
bin/kafka-console-consumer.sh --bootstrap-server hadoop102:9092 --topic first
#执行后，开始接收消息
atguigu 0
atguigu 1
atguigu 2
atguigu 3
atguigu 4

③在 IDEA 控制台观察回调信息。

shell 复制代码 
主题：first->分区：1
主题：first->分区：1
主题：first->分区：1
主题：first->分区：1
主题：first->分区：1

案例二：不指定partition，指定key

没有指明 partition 值但有 key 的情况下，将 key 的 hash 值与 topic 的 partition 数进行取余得到 partition 值。

java 复制代码 
package com.atguigu.kafka;

import org.apache.kafka.clients.producer.*;
import org.apache.kafka.common.serialization.StringSerializer;

import java.util.Properties;

public class Test {
    public static void main(String[] args) {
        // 创建配置对象
        Properties properties = new Properties();
        // 设置Kafka服务器地址
        properties.put(ProducerConfig.BOOTSTRAP_SERVERS_CONFIG, "hadoop102:9092");
        // 设置键序列化器
        properties.put(ProducerConfig.KEY_SERIALIZER_CLASS_CONFIG, StringSerializer.class.getName());
        // 设置值序列化器
        properties.put(ProducerConfig.VALUE_SERIALIZER_CLASS_CONFIG, StringSerializer.class.getName());

        // 创建KafkaProducer对象
        KafkaProducer<String, String> kafkaProducer = new KafkaProducer<>(properties);

        // 发送消息
        for (int i = 0; i < 5; i++) {
            // 依次指定 key 值为 a,b,f ，数据 key 的 hash 值与 3 个分区求余，分别发往 1、2、0
            kafkaProducer.send(new ProducerRecord<>("first", "a", "atguigu " + i), new Callback() {
                @Override
                public void onCompletion(RecordMetadata metadata, Exception e) {
                    if (e == null) {
                        System.out.println("主题：" + metadata.topic() + "->" + "分区：" + metadata.partition());
                    } else {
                        e.printStackTrace();
                    }
                }
            });
        }

        // 关闭KafkaProducer对象
        kafkaProducer.close();
    }
}

测试：

①key="a"时，在控制台查看结果。

shell 复制代码 
主题：first->分区：1
主题：first->分区：1
主题：first->分区：1
主题：first->分区：1
主题：first->分区：1

②key="b"时，在控制台查看结果。

shell 复制代码 
主题：first->分区：2
主题：first->分区：2
主题：first->分区：2
主题：first->分区：2
主题：first->分区：2

③key="f"时，在控制台查看结果。

shell 复制代码 
主题：first->分区：0
主题：first->分区：0
主题：first->分区：0
主题：first->分区：0
主题：first->分区：0

自定义分区器

如果研发人员可以根据企业需求，自己重新实现分区器。
1）需求

例如我们实现一个分区器实现，发送过来的数据中如果包含 atguigu，就发往 0 号分区，不包含 atguigu，就发往 1 号分区。
2）实现步骤

（1）定义类实现 Partitioner 接口。

（2）重写 partition()方法。

java 复制代码 
package com.atguigu.kafka.producer;

import org.apache.kafka.clients.producer.Partitioner;
import org.apache.kafka.common.Cluster;

import java.util.Map;

/**
 * 自定义分区器
 */
public class MyPartitioner implements Partitioner {

    /**
     * 返回消息对应的分区
     * @param topic 主题
     * @param key 消息的 key
     * @param keyBytes 消息的 key 序列化后的字节数组
     * @param value 消息的 value
     * @param valueBytes 消息的 value 序列化后的字节数组
     * @param cluster 集群元数据可以查看分区信息
     * @return 分区号
     */
    @Override
    public int partition(String topic, Object key, byte[] keyBytes, Object value, byte[] valueBytes, Cluster cluster) {
        // 获取消息的 value
        String msgValue = value.toString();
        
        // 创建分区变量
        int partition;
        
        // 判断消息是否包含 "atguigu"
        if (msgValue.contains("atguigu")) {
            partition = 0;
        } else {
            partition = 1;
        }
        
        // 返回分区号
        return partition;
    }

    /**
     * 关闭资源
     */
    @Override
    public void close() {
        // 关闭资源的代码
    }

    /**
     * 配置方法
     * @param configs 配置信息
     */
    @Override
    public void configure(Map<String, ?> configs) {
        // 配置方法的代码
    }
}

（3）使用自定义分区器的方法：在生产者的配置中添加分区器参数。

java 复制代码 
package com.atguigu.kafka.producer;

import org.apache.kafka.clients.producer.*;
import org.apache.kafka.common.serialization.StringSerializer;

import java.util.Properties;

public class CustomProducerCallbackPartitions {
    public static void main(String[] args) throws InterruptedException {
        // 创建Kafka生产者的配置
        Properties properties = new Properties();
        properties.put(ProducerConfig.BOOTSTRAP_SERVERS_CONFIG, "hadoop102:9092");
        properties.put(ProducerConfig.KEY_SERIALIZER_CLASS_CONFIG, StringSerializer.class.getName());
        properties.put(ProducerConfig.VALUE_SERIALIZER_CLASS_CONFIG, StringSerializer.class.getName());
        // 添加自定义分区器 ↓↓↓↓↓
        properties.put(ProducerConfig.PARTITIONER_CLASS_CONFIG, "com.atguigu.kafka.producer.MyPartitioner");

        // 创建Kafka生产者实例
        KafkaProducer<String, String> kafkaProducer = new KafkaProducer<>(properties);

        // 发送消息到Kafka
        for (int i = 0; i < 5; i++)
            kafkaProducer.send(new ProducerRecord<>("first", "atguigu " + i), new Callback() {
                @Override
                public void onCompletion(RecordMetadata metadata, Exception e) {
                    // 打印发送结果
                    if (e == null) System.out.println("主题：" + metadata.topic() + "->" + "分区：" + metadata.partition());
                    else
                        e.printStackTrace();
                }
            });

        // 关闭Kafka生产者
        kafkaProducer.close();
    }
}

（4）测试

①在 hadoop102 上开启 Kafka 消费者。

shell 复制代码 
bin/kafka-console-consumer.sh --bootstrap-server hadoop102:9092 --topic first

②在 IDEA 控制台观察回调信息。

shell 复制代码 
主题：first->分区：0
主题：first->分区：0
主题：first->分区：0
主题：first->分区：0
主题：first->分区：0
相关推荐
克里斯蒂亚诺更新6 小时前
ruoyi角色权限的对应关系
笔记
a1117769 小时前
2FA 验证码生成器（github登录验证 app）
笔记·学习
我的xiaodoujiao9 小时前
API 接口自动化测试详细图文教程学习系列32--Allure测试报告2
python·学习·测试工具·pytest
破碎的南瓜10 小时前
sqli--sql注入过关笔记（1，2，3，4，5，9）
数据库·笔记·sql
你想知道什么?11 小时前
线性回归-学习笔记
笔记·学习·线性回归
鱼毓屿御11 小时前
从「只会聊」到「边想边做」的跃迁
前端·学习·react.js
谙弆悕博士11 小时前
系统集成项目管理工程师教程（第3版）笔记——第17章：法律法规和标准规范
笔记·职场和发展·学习方法·业界资讯·软考·法律·法规
AOwhisky12 小时前
Python 学习笔记（第十五期）——运维自动化（下·后篇）：堡垒机实战——paramiko高阶篇
运维·python·学习·云原生·自动化·运维开发
谙弆悕博士13 小时前
系统集成项目管理工程师教程（第3版）笔记——第4章：信息系统架构
笔记·系统架构·项目管理·创业创新·学习方法·业界资讯·物理
minglie114 小时前
zynq中linux系统的自动登录和免密登录
学习
热门推荐
01GitHub 镜像站点02如何新建文件夹？ 电脑新建文件夹的4种方法032026年7月AI圈大地震：GPT-5.6被政府限制、Claude入驻Slack、Anthropic自研芯片04国内可直接用、免费额度/永久免费的大模型API清单（含 SiliconFlow、火山、阿里、智谱、百度、Kimi、DeepSeek、DMXAPI 等）05幻兽帕鲁 - 服务器管理员权限与 GM 命令完全指南06AI科技热点日报 | 2026年07月01日07微信历史版本含下载地址（ Windows PC | 安卓 | MAC ）及设置微信不更新08AI 编程 IDE 全景解析 2026：Agent 全面接管开发链路09【解构】DeepSeek V4 发布：技术报告深度解读 + 横向对比六大开源模型，我们的判断是……102026 国产 AI 大模型横评：DeepSeek、通义千问、Kimi、文心一言、星火、豆包谁更能打？