kafka防止消息丢失配置

无消息丢失最佳实践配置:

  1. 不要使用 producer.send(msg),而要使用 producer.send(msg, callback) API。
  2. 设置 acks = all。是 Producer 参数。设置成 all,表明所有副本 Broker 都要接收到消息,g该消息才算是"已提交"。
  3. 设置 retries 为一个较大的值。是 Producer 的参数,表示Producer自动重试。当出现网络的瞬时抖动时,消息发送可能会失败,此时配置了 retries > 0 Producer能够自动重试消息发送,避免消息丢失。
  4. 设置 unclean.leader.election.enable = false。这是 Broker 端的参数,它控制的是哪些 Broker 有资格竞选分区的 Leader。如果一个 Broker 落后原先的 Leader 太多,那么它一旦成为新的 Leader,必然会造成消息的丢失。故一般都要将该参数设置成 false,即不允许这种情况的发生。
  5. 设置 replication.factor >= 3Broker 端的参数。分区副本数量,目前防止消息丢失的主要机制就是冗余。
  6. 设置 min.insync.replicas > 1Broker 端参数,表示消息至少要被写入到多少个副本才算是"已提交"。设置成大于 1 可以提升消息持久性。在实际环境中不要使用默认值 1。
  7. 确保 replication.factor > min.insync.replicas。如果两者相等,那么只要有一个副本挂机,整个分区就无法正常工作。不仅要改善消息的持久性,防止数据丢失,还要能保证可用性。推荐设置
    replication.factor = min.insync.replicas +1
  8. 确保消息消费完成再提交。Consumer 端有个参数 enable.auto.commit,最好把它设置成 false,并采用手动提交位移的方式。就像前面说的,这对于单 Consumer 多线程处理的场景而言是至关重要的。
相关推荐
计算机毕设定制辅导-无忧学长5 小时前
Kafka 核心架构与消息模型深度解析(二)
架构·kafka·linq
计算机毕设定制辅导-无忧学长5 小时前
Kafka 核心架构与消息模型深度解析(一)
分布式·架构·kafka
Hoking6 小时前
Kafka集群部署(docker容器方式)SASL认证(zookeeper)
docker·zookeeper·kafka
14L6 小时前
互联网大厂Java面试:从Spring Cloud到Kafka的技术考察
spring boot·redis·spring cloud·kafka·jwt·oauth2·java面试
predisw6 小时前
kafka consumer group rebalance
分布式·kafka
伤不起bb10 小时前
Kafka 消息队列
linux·运维·分布式·kafka
dddaidai12310 小时前
kafka入门学习
分布式·学习·kafka
shangjg311 小时前
Kafka数据怎么保障不丢失
java·分布式·后端·kafka
怪力左手12 小时前
kafka部署
分布式·kafka
predisw14 小时前
Kafka broker 写消息的过程
分布式·kafka