[7-01-02].第10节:开发应用 - 配置Kafka中消费消息策略

Kafka笔记大纲

一、消费者配置说明：

在配置文件中，对消费者的配置有24个

二、消息消费策略：

2.1.策略说明：

earliest：自动将偏移量重置为最早的偏移量；
latest：自动将偏移量重置为最新偏移量；
none：如果没有为消费者组找到以前的偏移量，则向消费者抛出异常；
exception：向消费者抛出异常；（spring-kafka不支持）

2.2.测试策略：

a.默认读取消息策略：

默认情况下，当启动一个新的消费者组时，它会从每个分区的最新偏移量（即该分区中最后一条消息的下一个位置）开始消费

b.读取最早消息策略：

1.如果希望从第一条消息开始消费，需要将消费者的auto.offset.reset设置为earliest；
2.注意事项：
- 如果之前已经用相同的消费者组ID消费过该主题，并且Kafka已经保存了该消费者组的偏移量，那么即使你设置了auto.offset.reset=earliest，该设置也不会生效，因为Kafka只会在找不到偏移量时使用这个配置。在这种情况下，需要手动重置偏移量或使用一个新的消费者组ID；
3.手动重置偏移量：

shell 复制代码

# 重置到最早的一条消息
./kafka-consumer-groups.sh --bootstrap-server <your-kafka-bootstrap-servers> --group <your-consumer-group> --topic <your-topic> --reset-offsets --to-earliest --execute

./kafka-consumer-groups.sh --bootstrap-server 127.0.0.1:9092 --group hello-group-02 --topic hello-topic --reset-offsets --to-earliest --execute

# 重置到最新的一条消息
./kafka-consumer-groups.sh --bootstrap-server <your-kafka-bootstrap-servers> --group <your-consumer-group> --topic <your-topic> --reset-offsets --to-latest --execute