[7-01-02].第10节:开发应用 - 配置Kafka中消费消息策略

Kafka笔记大纲



一、消费者配置说明:

  • 在配置文件中,对消费者的配置有24个

二、消息消费策略:

2.1.策略说明:

  • earliest:自动将偏移量重置为最早的偏移量
  • latest:自动将偏移量重置为最新偏移量
  • none:如果没有为消费者组找到以前的偏移量,则向消费者抛出异常;
  • exception:向消费者抛出异常;(spring-kafka不支持)

2.2.测试策略:

a.默认读取消息策略:

  • 默认情况下,当启动一个新的消费者组时,它会从每个分区的最新偏移量(即该分区中最后一条消息的下一个位置)开始消费

b.读取最早消息策略:

  • 1.如果希望从第一条消息开始消费,需要将消费者的auto.offset.reset设置为earliest;
  • 2.注意事项:
    • 如果之前已经用相同的消费者组ID消费过该主题,并且Kafka已经保存了该消费者组的偏移量,那么即使你设置了auto.offset.reset=earliest,该设置也不会生效,因为Kafka只会在找不到偏移量时使用这个配置。在这种情况下,需要手动重置偏移量或使用一个新的消费者组ID
  • 3.手动重置偏移量:
shell 复制代码
# 重置到最早的一条消息
./kafka-consumer-groups.sh --bootstrap-server <your-kafka-bootstrap-servers> --group <your-consumer-group> --topic <your-topic> --reset-offsets --to-earliest --execute

./kafka-consumer-groups.sh --bootstrap-server 127.0.0.1:9092 --group hello-group-02 --topic hello-topic --reset-offsets --to-earliest --execute

# 重置到最新的一条消息
./kafka-consumer-groups.sh --bootstrap-server <your-kafka-bootstrap-servers> --group <your-consumer-group> --topic <your-topic> --reset-offsets --to-latest --execute
相关推荐
DemonAvenger4 天前
Kafka性能调优:从参数配置到硬件选择的全方位指南
性能优化·kafka·消息队列
yumgpkpm5 天前
AI视频生成:Wan 2.2(阿里通义万相)在华为昇腾下的部署?
人工智能·hadoop·elasticsearch·zookeeper·flink·kafka·cloudera
予枫的编程笔记5 天前
【Kafka高级篇】避开Kafka原生重试坑,Java业务端自建DLQ体系,让消息不丢失、不积压
java·kafka·死信队列·消息中间件·消息重试·dlq·java业务开发
倚肆5 天前
在 Windows Docker 中安装 Kafka 并映射 Windows 端口
docker·kafka
Sheffield6 天前
如果把ZooKeeper按字面意思比作动物园管理员……
elasticsearch·zookeeper·kafka
雪碧聊技术6 天前
kafka的下载、安装、启动
kafka
予枫的编程笔记6 天前
【Kafka高级篇】Kafka监控不踩坑:JMX指标暴露+Prometheus+Grafana可视化全流程
kafka·grafana·prometheus·可观测性·jmx·kafka集群调优·中间件监控
星辰_mya6 天前
消息队列遇到Producer发送慢
分布式·kafka
AutoMQ6 天前
一行配置让你的 Apache Kafka RTO 缩短一半
kafka