Kafka应用Demo:生产者自定义消息分区方法

背景

没有设置消息键时Kafka默认的分区算法是轮循,设置了消息键将按消息键的hashcode计算分区值。这种方法可以保证未设置消息键时各分区负载均衡。也可以保证设置消息键后的消息放到同一个分区发送,以保证消息按顺序消费。

但在某些业务场景下,我们可能也想要自定义分区算法。Producer端的配置支持做这样的自定义。

实现Partitioner接口,定义自己的算法

下面以一个简单的例子举例,要求key为Tom的消息放1号分区,key为Alice的消息放2号分区。实际项目使用什么样的分区算法需要根据业务场景来决定。

java 复制代码
/**
 * 自定义分区算法
 *
 * @author neo
 * @since 2024-05-10
 */
public class NeoPartitioner implements Partitioner {
    // 分区数量
    private static final int PARTITION_NUM = 5;

    private RoundRobinPartitioner roundRobinPartitioner = new RoundRobinPartitioner();

    @Override
    public int partition(String topic, Object key, byte[] keyBytes, Object value, byte[] valueBytes, Cluster cluster) {
        if (key == null || "".equals(key)) {
            // 未指定分区键,使用轮循分区(指定了key的消息不参与轮循)
            return roundRobinPartitioner.partition(topic, key, keyBytes, value, valueBytes, cluster);
        }

        // 基于业务的约定. 某些消息放到固定的分区
        if ("Tom".equals(key)) {
            return 1;
        }

        if ("Alice".equals(key)) {
            return 2;
        }

        // 其它情况按key的哈希值分区
        int keyCode = key.hashCode();
        return keyCode % PARTITION_NUM;
    }

    @Override
    public void close() {

    }

    @Override
    public void configure(Map<String, ?> map) {

    }
}

Producer参数配置

相关推荐
子非鱼@Itfuture3 小时前
【Kafka】Kafka使用场景用例&Kafka用例图
分布式·中间件·kafka
kobe_OKOK_4 小时前
rabbitmq 入门知识点
分布式·rabbitmq·ruby
王嘉俊9254 小时前
深入浅出 全面剖析消息队列(Kafka,RabbitMQ,RocketMQ 等)
分布式·kafka·消息队列·rabbitmq·rocketmq
沧澜sincerely5 小时前
分布式3PC理论
分布式·一致性协议·3pc
掘金-我是哪吒6 小时前
分布式微服务系统架构第169集:1万~10万QPS的查当前订单列表
分布式·微服务·云原生·架构·系统架构
Zhao_yani6 小时前
RabbitMQ相关知识
分布式·rabbitmq
我就是全世界7 小时前
【存储选型终极指南】RustFS vs MinIO:5大维度深度对决,95%技术团队的选择秘密!
开发语言·分布式·rust·存储
楠枬8 小时前
zookeeper 实现分布式锁
分布式·zookeeper
milanyangbo11 小时前
“卧槽,系统又崩了!”——别慌,这也许是你看过最通俗易懂的分布式入门
分布式·后端·云原生·架构
失散1311 小时前
分布式专题——1.1 Redis单机、主从、哨兵、集群部署
java·数据库·redis·分布式·架构