Kafka保证消息不丢失

Kafka保证消息不丢失

生产者发送消息到Broker丢失

设置异步发送

回调方法中的参数Exception e如果为空

代表发送成功,如果不为空代表发送失败出现异常

消息在Broker中丢失

kafka集群中存在分区机制

分区中分为leader和follower副本

leader负责读写,而follower只负责数据同步

broker确认机制

生产者向broker发送消息存在发送确认机制acks

acks=0,生产者不会等待broker响应
acks=1(默认),只要leader收到消息就会响应
acks=all,只有全部节点都收到消息,才会响应

消费者接受消息丢失

每一个分区只能由一个消费者进行消费,分区中根据偏移量记录消费的进度,按照偏移量进行消费

每个消费者会自动按时提交偏移量

如果在提交之前宕机,就有可能出现重复消费

如果在消费之前提交然后宕机,就有可能出现丢失数据的情况

解决方案

禁用自动提交偏移量,改为手动提交

可以使用同步提交,异步提交或者同步+异步的方式组合提交

相关推荐
Bug退退退1231 小时前
RabbitMQ 之消息积压
分布式·rabbitmq
熊猫钓鱼>_>1 小时前
Hadoop 用户入门指南:驾驭大数据的力量
大数据·hadoop·分布式
文艺倾年4 小时前
【八股消消乐】浅尝Kafka性能优化
分布式·性能优化·kafka
钟琛......4 小时前
Redisson 的分布式锁
分布式
CodeWithMe7 小时前
【Note】《Kafka: The Definitive Guide》第11章:Stream Processing
分布式·kafka
落霞的思绪11 小时前
使用云虚拟机搭建hadoop集群环境
大数据·hadoop·分布式
dessler11 小时前
Kafka-日常运维命令
linux·运维·kafka
csdn_aspnet13 小时前
在 Docker 上安装和配置 Kafka、选择用于部署 Kafka 的操作系统
docker·kafka
Bug退退退12321 小时前
RabbitMQ 高级特性之事务
java·分布式·spring·rabbitmq
CodeWithMe1 天前
【Note】《Kafka: The Definitive Guide》第四章:Kafka 消费者全面解析:如何从 Kafka 高效读取消息
分布式·kafka