[7-01-02].第10节:开发应用 - 配置Kafka中消费消息策略

Kafka笔记大纲



一、消费者配置说明:

  • 在配置文件中,对消费者的配置有24个

二、消息消费策略:

2.1.策略说明:

  • earliest:自动将偏移量重置为最早的偏移量
  • latest:自动将偏移量重置为最新偏移量
  • none:如果没有为消费者组找到以前的偏移量,则向消费者抛出异常;
  • exception:向消费者抛出异常;(spring-kafka不支持)

2.2.测试策略:

a.默认读取消息策略:

  • 默认情况下,当启动一个新的消费者组时,它会从每个分区的最新偏移量(即该分区中最后一条消息的下一个位置)开始消费

b.读取最早消息策略:

  • 1.如果希望从第一条消息开始消费,需要将消费者的auto.offset.reset设置为earliest;
  • 2.注意事项:
    • 如果之前已经用相同的消费者组ID消费过该主题,并且Kafka已经保存了该消费者组的偏移量,那么即使你设置了auto.offset.reset=earliest,该设置也不会生效,因为Kafka只会在找不到偏移量时使用这个配置。在这种情况下,需要手动重置偏移量或使用一个新的消费者组ID
  • 3.手动重置偏移量:
shell 复制代码
# 重置到最早的一条消息
./kafka-consumer-groups.sh --bootstrap-server <your-kafka-bootstrap-servers> --group <your-consumer-group> --topic <your-topic> --reset-offsets --to-earliest --execute

./kafka-consumer-groups.sh --bootstrap-server 127.0.0.1:9092 --group hello-group-02 --topic hello-topic --reset-offsets --to-earliest --execute

# 重置到最新的一条消息
./kafka-consumer-groups.sh --bootstrap-server <your-kafka-bootstrap-servers> --group <your-consumer-group> --topic <your-topic> --reset-offsets --to-latest --execute
相关推荐
yumgpkpm1 天前
数据可视化AI、BI工具,开源适配 Cloudera CMP 7.3(或类 CDP 的 CMP 7.13 平台,如华为鲲鹏 ARM 版)值得推荐?
人工智能·hive·hadoop·信息可视化·kafka·开源·hbase
Zhao·o1 天前
KafkaMQ采集指标日志
运维·中间件·kafka
青靴1 天前
轻量级 CI/CD 实战(三):Kafka消费者Docker容器化部署
分布式·docker·kafka
galaxyffang1 天前
RocketMQ 为什么性能不如 Kafka?
分布式·kafka·rocketmq
2501_941881401 天前
ClickHouse OLAP 数据仓库在互联网大规模分析场景下性能优化与查询加速实践经验分享
kafka
一叶飘零_sweeeet1 天前
从 Kafka 到 RocketMQ:迁移实战全攻略
分布式·kafka·rocketmq
2501_941146322 天前
Java高性能微服务架构与Spring Boot实践分享:服务设计与性能优化经验
kafka
熊猫钓鱼>_>2 天前
数据处理的艺术:从Kafka到实时流处理平台的技术深度剖析
分布式·flink·kafka·数据治理·状态管理·管道·数据工程师
dashalen2 天前
Kafka4.x配置详解
kafka