kafka 一步步探究消费者组与分区分配策略

本期主要聊聊kafka消费者组与分区

消费者组 & 消费者

每个消费者都需要归属每个消费者组，每个分区只能被消费者组中一个消费者消费

上面这段话还不够直观，我们举个例子来说明。

订单系统订单消息通过 order_topic 发送,该topic 有 5个分区
结算系统订阅订单变更消息订阅订单的消息，进行相关结算业务,结算系统的消费者组是order_consumer_settlement
- 结算系统有三台服务器,所有消费者组是order_consumer_settlement有三个消费者，由于每个分区被不同消费者(服务器)处理，所以消息不会被不同结算服务节点重复消费，且每条消息都有一个唯一的机器处理结算
审计系统也订阅订单变更消息，它的消费者组是order_consumer_audit ，审计系统部署2台，它的消息处理与结算系统之间毫不相干。

如果订单系统发送一条订单变更消息，该消息所在分区是确定的，结算系统的一个服务节点会消费到这条消息，审计系统的一个服务节点也会消费到该消息。

通常情况下我们一个应用对应某个Topic 的 消费者组，该应用的每个服务节点都对应一个消费者。

按照应用对应消费者组方式，一条消息有且只有一个服务节点处理 ，在排除配置和一些特殊情况，消息不会重复消息，也不会丢失

消费者分区与主题数量关系

可以在日志中grep Adding newly assigned partition关键字查看当前服务节点分配的分区

不同数量消费者分区情况

分区数量为10 ，消费者组有2个节点
- 消费者分配到的分区是 5、5
分区数量为10 ，消费者组有3个节点
- 消费者分配到的分区是 4、3、3
分区数量为10 ，消费者组有4个节点
- 消费者分配到的分区是 3、2、2、3
分区数量为10 ，消费者组有5个节点
- 消费者分配到的分区是 2、2、2、2、2

从上面数据看每个消费者分配的分区数量是均匀的

举一反三

如果 分区数量 小于 消费者数量，猜测会有消费者一个分区也分配不到测试分区数量为3 ，消费者数量为4 时。下面日志证明结论正确的

刨根到底，分区分配策略如何调整

前面都是默认情况下，分区配置策略，不同版本默认策略是不同的，通过partition.assignment.strategy 配置,常见分配策略有

RangeAssignor

RangeAssignor策略对每个Topic进行独立的分区分配
分区按照分区ID进行排序，然后订阅这个Topic的消费组的消费者再进行排序
分配时尽量均衡地将分区分配给消费者

缺点只保证**单个主题**情况下均匀分配，对于消费者同时订阅多个主题情况下可能会造成总体分区分配不合理。

RoundRobinAssignor

所有消费者和所有分区都进行排序，然后按照轮询的方式将分区分配给消费者

该策略在RangeAssignor进行了优化，当然如果消费者订阅的主题列表不同情况下分配结果也是不均匀的。

StickyAssignor

它在RangeAssignor的基础上引入了"粘性"的限制。当消费者组中消费者离开或加入,尽量保留现有的分配结果，并使新的分配结果均衡。

CooperativeStickyAssignor

它是Kafka 2.4.0 引入的一种新的分配策略。它将原来的一次全局分区重平衡改为多次小规模分区重平衡。这种策略能够更平滑地处理消费者加入或离开的情况，减少因全局重平衡带来的性能开销。

How 修改默认策略？

参考下面代码设置ConsumerConfig.PARTITION_ASSIGNMENT_STRATEGY_CONFIG 甚至可以自定义策略

java 复制代码

   private Properties getConfig() {
        Properties properties = new Properties();
        properties.put(ConsumerConfig.BOOTSTRAP_SERVERS_CONFIG,
                "xxxx:9092");
        properties.put(ConsumerConfig.KEY_DESERIALIZER_CLASS_CONFIG, StringDeserializer.class.getName());
        properties.put(ConsumerConfig.VALUE_DESERIALIZER_CLASS_CONFIG,StringDeserializer.class.getName());
        properties.put(ConsumerConfig.GROUP_ID_CONFIG,consumerGroup);
        properties.put(ConsumerConfig.PARTITION_ASSIGNMENT_STRATEGY_CONFIG,Arrays.asList(RangeAssignor.class.getName()))
        return properties;
    }