kafka无消息丢失配置

目录

前言:

消息丢失的场景

生产者消息丢失

Broker消息丢失

消费者消息丢失

消息丢失问题排查

无消息丢失配置:

参考资料:


前言:

使用消息中间件时,我们遇到最头疼的事就消息丢失,**小则影响程序错误,大则影响到某个重要业务失败。如果kafka配置不当或者使用不当,是很有可能出现消息丢失的。**本篇博文重点探讨主要的kafka消息丢失的场景及我们应该如何配置kafka参数来避免消息的丢失。

消息丢失的场景

消息丢失无非分为3种,生产端消息丢失、kafka-broker端消息丢失、服务端消息丢失。

Kafka对于消息丢失这件事,只做了如下承诺,kafka只对已提交的消息做有限度的持久化保证。

生产者消息丢失

那生产者丢失,大多数就是因为,生产者不确定消息是否已经提交成功。如果使用不带

回调通知的send方法的话producer.send(msg),就无法保证消息被成功。所以我们应该使用带回调函数的send方法producer.send(msg,callback),这样我们就可以监听消息的发送情况,然后做有效的重试,确保消息都发送成功。

Broker消息丢失

对于kafka服务器端消息丢失,相对来说概率是比较小的,kafka作为一个成熟的中间件,经受业界的认可,但是需要注意,消息在borker中是由存在时长的,超过这个时间,默认会删除这些消息,另外对于分区的副本数也要进行合理设计,避免因为某一台机器的硬盘别破坏掉后,导致消息丢失。

消费者消息丢失

消费者消费丢失,大多数的场景为位移提交出现了问题,比如在消费者异步多线程消费消息,其中有个处理失败,位移提交失败,就会导致这个线程处理的消息丢失。

消息丢失问题排查

对于消息丢失的问题,首先,我们应该建立完整的日志,在消息发送前和发送后 、消费前后分别计日志, 建立告警机制。

无消息丢失配置:

  1. **不要使用producer.send(msg),而要使用producer.send(msg, callback)。**记住,一定要使用带有回调通知的send方法。
  2. 设置**acks = all。**acks是Producer的一个参数,代表了你对"已提交"消息的定义。如果设置成all,则表明所有副本Broker都要接收到消息,该消息才算是"已提交"。这是最高等级的"已提交"定义。
  3. 设置retries为一个较大的值。这里的retries同样是Producer的参数,对应前面提到的Producer自动重试。当出现网络的瞬时抖动时,消息发送可能会失败,此时配置了retries > 0的Producer能够自动重试消息发送,避免消息丢失。
  4. 设置**unclean.leader.election.enable = false。**这是Broker端的参数,它控制的是哪些Broker有资格竞选分区的Leader。如果一个Broker落后原先的Leader太多,那么它一旦成为新的Leader,必然会造成消息的丢失。故一般都要将该参数设置成false,即不允许这种情况的发生。
  5. 设置replication.factor >= 3。这也是Broker端的参数。其实这里想表述的是,最好将消息多保存几份,毕竟目前防止消息丢失的主要机制就是冗余。
  6. 设置min.insync.replicas > 1。这依然是Broker端参数,控制的是消息至少要被写入到多少个副本才算是"已提交"。设置成大于1可以提升消息持久性。在实际环境中千万不要使用默认值1。
  7. 确保replication.factor > min.insync.replicas。如果两者相等,那么只要有一个副本挂机,整个分区就无法正常工作了。我们不仅要改善消息的持久性,防止数据丢失,还要在不降低可用性的基础上完成。推荐设置成replication.factor = min.insync.replicas + 1。
  8. 确保消息消费完成再提交。Consumer端有个参数enable.auto.commit,最好把它设置成false,并采用手动提交位移的方式。就像前面说的,这对于单Consumer多线程处理的场景而言是至关重要的。

参考资料:

极客时间课程《kafka核心技术与实战》第11课

无消息丢失配置如何实现?

相关推荐
筑梦之人1 天前
Elasticsearch 9.x 从入门到精通(5/7):集群、分布式与运维
运维·分布式·elasticsearch
kiwixing2 天前
GaussDB|集中式还是分布式?三把尺子选型
分布式·gaussdb
真上帝的左手2 天前
30. 技术专题-‌应用框架组件-分布式架构
分布式·架构·系统架构·分布式架构
zixu_star3 天前
从单机到分布式:定时任务如何处理大量数据与执行失败?
分布式
lsc_blog4 天前
听到优化风声,先准备能由自己掌控的事
数据库·分布式·中间件·职场和发展·重构
Lansonli5 天前
大数据Spark(八十七):Spark-Submit 参数详解
大数据·分布式·spark
qq_452396235 天前
第二篇:《CommitLog + ConsumeQueue:一条日志解决 Kafka 多分区随机写的难题》
分布式·kafka
Alluxio6 天前
Alluxio + OCI:为 AI 工作负载实现亚毫秒访问延迟与可扩展吞吐
运维·数据库·人工智能·分布式·缓存·ai·语言模型
阿卡好可爱6 天前
Lua 热更新不生效:改完文件线上仍是旧逻辑,package.loaded 与 upvalue 重绑定详解
数据结构·分布式·后端·架构·lua
我不会起名字3227 天前
消费回调固定 return nil:错误传播与 Kafka 位点提交的区别
后端·mongodb·kafka·go·im·故障排查