kafka无消息丢失配置

目录

前言:

消息丢失的场景

生产者消息丢失

Broker消息丢失

消费者消息丢失

消息丢失问题排查

无消息丢失配置:

参考资料:


前言:

使用消息中间件时,我们遇到最头疼的事就消息丢失,**小则影响程序错误,大则影响到某个重要业务失败。如果kafka配置不当或者使用不当,是很有可能出现消息丢失的。**本篇博文重点探讨主要的kafka消息丢失的场景及我们应该如何配置kafka参数来避免消息的丢失。

消息丢失的场景

消息丢失无非分为3种,生产端消息丢失、kafka-broker端消息丢失、服务端消息丢失。

Kafka对于消息丢失这件事,只做了如下承诺,kafka只对已提交的消息做有限度的持久化保证。

生产者消息丢失

那生产者丢失,大多数就是因为,生产者不确定消息是否已经提交成功。如果使用不带

回调通知的send方法的话producer.send(msg),就无法保证消息被成功。所以我们应该使用带回调函数的send方法producer.send(msg,callback),这样我们就可以监听消息的发送情况,然后做有效的重试,确保消息都发送成功。

Broker消息丢失

对于kafka服务器端消息丢失,相对来说概率是比较小的,kafka作为一个成熟的中间件,经受业界的认可,但是需要注意,消息在borker中是由存在时长的,超过这个时间,默认会删除这些消息,另外对于分区的副本数也要进行合理设计,避免因为某一台机器的硬盘别破坏掉后,导致消息丢失。

消费者消息丢失

消费者消费丢失,大多数的场景为位移提交出现了问题,比如在消费者异步多线程消费消息,其中有个处理失败,位移提交失败,就会导致这个线程处理的消息丢失。

消息丢失问题排查

对于消息丢失的问题,首先,我们应该建立完整的日志,在消息发送前和发送后 、消费前后分别计日志, 建立告警机制。

无消息丢失配置:

  1. **不要使用producer.send(msg),而要使用producer.send(msg, callback)。**记住,一定要使用带有回调通知的send方法。
  2. 设置**acks = all。**acks是Producer的一个参数,代表了你对"已提交"消息的定义。如果设置成all,则表明所有副本Broker都要接收到消息,该消息才算是"已提交"。这是最高等级的"已提交"定义。
  3. 设置retries为一个较大的值。这里的retries同样是Producer的参数,对应前面提到的Producer自动重试。当出现网络的瞬时抖动时,消息发送可能会失败,此时配置了retries > 0的Producer能够自动重试消息发送,避免消息丢失。
  4. 设置**unclean.leader.election.enable = false。**这是Broker端的参数,它控制的是哪些Broker有资格竞选分区的Leader。如果一个Broker落后原先的Leader太多,那么它一旦成为新的Leader,必然会造成消息的丢失。故一般都要将该参数设置成false,即不允许这种情况的发生。
  5. 设置replication.factor >= 3。这也是Broker端的参数。其实这里想表述的是,最好将消息多保存几份,毕竟目前防止消息丢失的主要机制就是冗余。
  6. 设置min.insync.replicas > 1。这依然是Broker端参数,控制的是消息至少要被写入到多少个副本才算是"已提交"。设置成大于1可以提升消息持久性。在实际环境中千万不要使用默认值1。
  7. 确保replication.factor > min.insync.replicas。如果两者相等,那么只要有一个副本挂机,整个分区就无法正常工作了。我们不仅要改善消息的持久性,防止数据丢失,还要在不降低可用性的基础上完成。推荐设置成replication.factor = min.insync.replicas + 1。
  8. 确保消息消费完成再提交。Consumer端有个参数enable.auto.commit,最好把它设置成false,并采用手动提交位移的方式。就像前面说的,这对于单Consumer多线程处理的场景而言是至关重要的。

参考资料:

极客时间课程《kafka核心技术与实战》第11课

无消息丢失配置如何实现?

相关推荐
WX187021128732 小时前
在分布式光伏电站如何进行电能质量的治理?
分布式
Stringzhua3 小时前
【SpringCloud】Kafka消息中间件
spring·spring cloud·kafka
不能再留遗憾了5 小时前
RabbitMQ 高级特性——消息分发
分布式·rabbitmq·ruby
茶馆大橘5 小时前
微服务系列六:分布式事务与seata
分布式·docker·微服务·nacos·seata·springcloud
材料苦逼不会梦到计算机白富美8 小时前
golang分布式缓存项目 Day 1
分布式·缓存·golang
想进大厂的小王8 小时前
项目架构介绍以及Spring cloud、redis、mq 等组件的基本认识
redis·分布式·后端·spring cloud·微服务·架构
Java 第一深情8 小时前
高性能分布式缓存Redis-数据管理与性能提升之道
redis·分布式·缓存
杨荧9 小时前
【JAVA毕业设计】基于Vue和SpringBoot的服装商城系统学科竞赛管理系统
java·开发语言·vue.js·spring boot·spring cloud·java-ee·kafka
ZHOU西口10 小时前
微服务实战系列之玩转Docker(十八)
分布式·docker·云原生·架构·数据安全·etcd·rbac
zmd-zk10 小时前
kafka+zookeeper的搭建
大数据·分布式·zookeeper·中间件·kafka