[7-01-02].第10节:开发应用 - 配置Kafka中消费消息策略

Kafka笔记大纲



一、消费者配置说明:

  • 在配置文件中,对消费者的配置有24个

二、消息消费策略:

2.1.策略说明:

  • earliest:自动将偏移量重置为最早的偏移量
  • latest:自动将偏移量重置为最新偏移量
  • none:如果没有为消费者组找到以前的偏移量,则向消费者抛出异常;
  • exception:向消费者抛出异常;(spring-kafka不支持)

2.2.测试策略:

a.默认读取消息策略:

  • 默认情况下,当启动一个新的消费者组时,它会从每个分区的最新偏移量(即该分区中最后一条消息的下一个位置)开始消费

b.读取最早消息策略:

  • 1.如果希望从第一条消息开始消费,需要将消费者的auto.offset.reset设置为earliest;
  • 2.注意事项:
    • 如果之前已经用相同的消费者组ID消费过该主题,并且Kafka已经保存了该消费者组的偏移量,那么即使你设置了auto.offset.reset=earliest,该设置也不会生效,因为Kafka只会在找不到偏移量时使用这个配置。在这种情况下,需要手动重置偏移量或使用一个新的消费者组ID
  • 3.手动重置偏移量:
shell 复制代码
# 重置到最早的一条消息
./kafka-consumer-groups.sh --bootstrap-server <your-kafka-bootstrap-servers> --group <your-consumer-group> --topic <your-topic> --reset-offsets --to-earliest --execute

./kafka-consumer-groups.sh --bootstrap-server 127.0.0.1:9092 --group hello-group-02 --topic hello-topic --reset-offsets --to-earliest --execute

# 重置到最新的一条消息
./kafka-consumer-groups.sh --bootstrap-server <your-kafka-bootstrap-servers> --group <your-consumer-group> --topic <your-topic> --reset-offsets --to-latest --execute
相关推荐
潇凝子潇5 小时前
kafka之监控告警
分布式·kafka
潇凝子潇8 小时前
Kafka 实现集群安全认证与加密机制
分布式·安全·kafka
indexsunny8 小时前
互联网大厂Java求职面试实战:微服务与Spring Boot在电商场景中的应用
java·数据库·spring boot·微服务·kafka·hibernate·电商
潇凝子潇8 小时前
Apache Kafka 跨集群复制实现方案
分布式·kafka·apache
oMcLin21 小时前
如何在Oracle Linux 8.4上搭建并优化Kafka集群,确保高吞吐量的实时数据流处理与消息传递?
linux·oracle·kafka
码农水水1 天前
中国邮政Java面试:热点Key的探测和本地缓存方案
java·开发语言·windows·缓存·面试·职场和发展·kafka
掘金-我是哪吒1 天前
Kafka配套的Zookeeper启动脚本
分布式·zookeeper·云原生·kafka
超级种码1 天前
Kafka四部曲之一:Kafka的核心概念
分布式·kafka
u0104058361 天前
基于 Kafka Exactly-Once 语义保障微信群发消息不重复不丢失
分布式·kafka·linq
超级种码1 天前
Kafka四部曲之二:核心架构与设计深度解析
分布式·架构·kafka