kafka无消息丢失配置

目录

前言:

消息丢失的场景

生产者消息丢失

Broker消息丢失

消费者消息丢失

消息丢失问题排查

无消息丢失配置:

参考资料:


前言:

使用消息中间件时,我们遇到最头疼的事就消息丢失,**小则影响程序错误,大则影响到某个重要业务失败。如果kafka配置不当或者使用不当,是很有可能出现消息丢失的。**本篇博文重点探讨主要的kafka消息丢失的场景及我们应该如何配置kafka参数来避免消息的丢失。

消息丢失的场景

消息丢失无非分为3种,生产端消息丢失、kafka-broker端消息丢失、服务端消息丢失。

Kafka对于消息丢失这件事,只做了如下承诺,kafka只对已提交的消息做有限度的持久化保证。

生产者消息丢失

那生产者丢失,大多数就是因为,生产者不确定消息是否已经提交成功。如果使用不带

回调通知的send方法的话producer.send(msg),就无法保证消息被成功。所以我们应该使用带回调函数的send方法producer.send(msg,callback),这样我们就可以监听消息的发送情况,然后做有效的重试,确保消息都发送成功。

Broker消息丢失

对于kafka服务器端消息丢失,相对来说概率是比较小的,kafka作为一个成熟的中间件,经受业界的认可,但是需要注意,消息在borker中是由存在时长的,超过这个时间,默认会删除这些消息,另外对于分区的副本数也要进行合理设计,避免因为某一台机器的硬盘别破坏掉后,导致消息丢失。

消费者消息丢失

消费者消费丢失,大多数的场景为位移提交出现了问题,比如在消费者异步多线程消费消息,其中有个处理失败,位移提交失败,就会导致这个线程处理的消息丢失。

消息丢失问题排查

对于消息丢失的问题,首先,我们应该建立完整的日志,在消息发送前和发送后 、消费前后分别计日志, 建立告警机制。

无消息丢失配置:

  1. **不要使用producer.send(msg),而要使用producer.send(msg, callback)。**记住,一定要使用带有回调通知的send方法。
  2. 设置**acks = all。**acks是Producer的一个参数,代表了你对"已提交"消息的定义。如果设置成all,则表明所有副本Broker都要接收到消息,该消息才算是"已提交"。这是最高等级的"已提交"定义。
  3. 设置retries为一个较大的值。这里的retries同样是Producer的参数,对应前面提到的Producer自动重试。当出现网络的瞬时抖动时,消息发送可能会失败,此时配置了retries > 0的Producer能够自动重试消息发送,避免消息丢失。
  4. 设置**unclean.leader.election.enable = false。**这是Broker端的参数,它控制的是哪些Broker有资格竞选分区的Leader。如果一个Broker落后原先的Leader太多,那么它一旦成为新的Leader,必然会造成消息的丢失。故一般都要将该参数设置成false,即不允许这种情况的发生。
  5. 设置replication.factor >= 3。这也是Broker端的参数。其实这里想表述的是,最好将消息多保存几份,毕竟目前防止消息丢失的主要机制就是冗余。
  6. 设置min.insync.replicas > 1。这依然是Broker端参数,控制的是消息至少要被写入到多少个副本才算是"已提交"。设置成大于1可以提升消息持久性。在实际环境中千万不要使用默认值1。
  7. 确保replication.factor > min.insync.replicas。如果两者相等,那么只要有一个副本挂机,整个分区就无法正常工作了。我们不仅要改善消息的持久性,防止数据丢失,还要在不降低可用性的基础上完成。推荐设置成replication.factor = min.insync.replicas + 1。
  8. 确保消息消费完成再提交。Consumer端有个参数enable.auto.commit,最好把它设置成false,并采用手动提交位移的方式。就像前面说的,这对于单Consumer多线程处理的场景而言是至关重要的。

参考资料:

极客时间课程《kafka核心技术与实战》第11课

无消息丢失配置如何实现?

相关推荐
Francek Chen1 小时前
【大数据技术基础 | 实验十二】Hive实验:Hive分区
大数据·数据仓库·hive·hadoop·分布式
陌小呆^O^7 小时前
Cmakelist.txt之Liunx-rabbitmq
分布式·rabbitmq
斯普信专业组9 小时前
深度解析FastDFS:构建高效分布式文件存储的实战指南(上)
分布式·fastdfs
jikuaidi6yuan11 小时前
鸿蒙系统(HarmonyOS)分布式任务调度
分布式·华为·harmonyos
BestandW1shEs11 小时前
彻底理解消息队列的作用及如何选择
java·kafka·rabbitmq·rocketmq
天冬忘忧11 小时前
Kafka 生产者全面解析:从基础原理到高级实践
大数据·分布式·kafka
天冬忘忧12 小时前
Kafka 数据倾斜:原因、影响与解决方案
分布式·kafka
隔着天花板看星星12 小时前
Kafka-Consumer理论知识
大数据·分布式·中间件·kafka
holywangle12 小时前
解决Flink读取kafka主题数据无报错无数据打印的重大发现(问题已解决)
大数据·flink·kafka