[7-01-02].第10节:开发应用 - 配置Kafka中消费消息策略

Kafka笔记大纲



一、消费者配置说明:

  • 在配置文件中,对消费者的配置有24个

二、消息消费策略:

2.1.策略说明:

  • earliest:自动将偏移量重置为最早的偏移量
  • latest:自动将偏移量重置为最新偏移量
  • none:如果没有为消费者组找到以前的偏移量,则向消费者抛出异常;
  • exception:向消费者抛出异常;(spring-kafka不支持)

2.2.测试策略:

a.默认读取消息策略:

  • 默认情况下,当启动一个新的消费者组时,它会从每个分区的最新偏移量(即该分区中最后一条消息的下一个位置)开始消费

b.读取最早消息策略:

  • 1.如果希望从第一条消息开始消费,需要将消费者的auto.offset.reset设置为earliest;
  • 2.注意事项:
    • 如果之前已经用相同的消费者组ID消费过该主题,并且Kafka已经保存了该消费者组的偏移量,那么即使你设置了auto.offset.reset=earliest,该设置也不会生效,因为Kafka只会在找不到偏移量时使用这个配置。在这种情况下,需要手动重置偏移量或使用一个新的消费者组ID
  • 3.手动重置偏移量:
shell 复制代码
# 重置到最早的一条消息
./kafka-consumer-groups.sh --bootstrap-server <your-kafka-bootstrap-servers> --group <your-consumer-group> --topic <your-topic> --reset-offsets --to-earliest --execute

./kafka-consumer-groups.sh --bootstrap-server 127.0.0.1:9092 --group hello-group-02 --topic hello-topic --reset-offsets --to-earliest --execute

# 重置到最新的一条消息
./kafka-consumer-groups.sh --bootstrap-server <your-kafka-bootstrap-servers> --group <your-consumer-group> --topic <your-topic> --reset-offsets --to-latest --execute
相关推荐
what丶k17 小时前
深度解析:以Kafka为例,消息队列消费幂等性的实现方案与生产实践
java·数据结构·kafka
liux352819 小时前
Kafka 4.1.1 部署指南:单机版与安全认证配置
安全·kafka·linq
Jackyzhe20 小时前
从零学习Kafka:配置参数
分布式·学习·kafka
Go高并发架构_王工21 小时前
Kafka Streams:流处理应用开发实战
分布式·kafka·linq
摇摆的含羞草21 小时前
kafka多种通信方案总结
kafka
想你依然心痛1 天前
Spark大数据分析与实战笔记(第六章 Kafka分布式发布订阅消息系统-03)
笔记·分布式·spark·kafka
Jackeyzhe1 天前
从零学习Kafka:配置参数
kafka
编程彩机1 天前
互联网大厂Java面试:从分布式架构到大数据场景解析
java·大数据·微服务·spark·kafka·分布式事务·分布式架构
编程彩机2 天前
互联网大厂Java面试:从分布式事务到微服务优化的技术场景解读
java·spring boot·redis·微服务·面试·kafka·分布式事务
indexsunny2 天前
互联网大厂Java面试实战:从Spring Boot到Kafka的技术与业务场景解析
java·spring boot·redis·面试·kafka·技术栈·microservices