Kafka 无消息丢失最佳实战

  1. 不要使用 producer.send(msg),而要使用 producer.send(msg, callback)。记住,一
    定要使用带有回调通知的 send 方法。
  2. 设置 acks = all。acks 是 Producer 的一个参数,代表了你对"已提交"消息的定义。
    如果设置成 all,则表明所有副本 Broker 都要接收到消息,该消息才算是"已提交"。
    这是最高等级的"已提交"定义。
  3. 设置 retries 为一个较大的值。这里的 retries 同样是 Producer 的参数,对应前面提到
    的 Producer 自动重试。当出现网络的瞬时抖动时,消息发送可能会失败,此时配置了 retries > 0 的 Producer 能够自动重试消息发送,避免消息丢失。
  4. 设置 unclean.leader.election.enable = false。这是 Broker 端的参数,它控制的是哪
    些 Broker 有资格竞选分区的 Leader。如果一个 Broker 落后原先的 Leader 太多,那么
    它一旦成为新的 Leader,必然会造成消息的丢失。故一般都要将该参数设置成 false,
    即不允许这种情况的发生。
  5. 设置 replication.factor >= 3。这也是 Broker 端的参数。其实这里想表述的是,最好将
    消息多保存几份,毕竟目前防止消息丢失的主要机制就是冗余。
  6. 设置 min.insync.replicas > 1。这依然是 Broker 端参数,控制的是消息至少要被写入
    到多少个副本才算是"已提交"。设置成大于 1 可以提升消息持久性。在实际环境中千
    万不要使用默认值 1。
  7. 确保 replication.factor > min.insync.replicas。如果两者相等,那么只要有一个副本挂
    机,整个分区就无法正常工作了。我们不仅要改善消息的持久性,防止数据丢失,还要
    在不降低可用性的基础上完成。推荐设置成 replication.factor = min.insync.replicas +
    1。
  8. 确保消息消费完成再提交。Consumer 端有个参数 enable.auto.commit,最好把它设
    置成 false,并采用手动提交位移的方式。就像前面说的,这对于单 Consumer 多线程
    处理的场景而言是至关重要的。

系列阅读

  1. 设计模式与技术组件
  2. 电商系统的分布式事务调优
  3. 如何设计安全的开放接口
相关推荐
沉着的码农3 小时前
【设计模式】基于责任链模式的参数校验
java·spring boot·分布式
ZHOU_WUYI15 小时前
一个简单的分布式追踪系统
分布式
码不停蹄的玄黓19 小时前
MySQL分布式ID冲突详解:场景、原因与解决方案
数据库·分布式·mysql·id冲突
王小王-12319 小时前
基于Hadoop的公共自行车数据分布式存储和计算平台的设计与实现
大数据·hive·hadoop·分布式·hadoop公共自行车·共享单车大数据分析·hadoop共享单车
要开心吖ZSH21 小时前
《Spring 中上下文传递的那些事儿》Part 4:分布式链路追踪 —— Sleuth + Zipkin 实践
java·分布式·spring
幼稚园的山代王1 天前
RabbitMQ 4.1.1初体验
分布式·rabbitmq·ruby
百锦再1 天前
RabbitMQ用法的6种核心模式全面解析
分布式·rabbitmq·路由·消息·通道·交换机·代理
一路向北North1 天前
RabbitMQ简单消息监听和确认
分布式·rabbitmq·ruby
真实的菜1 天前
Kafka生态整合深度解析:构建现代化数据架构的核心枢纽
架构·kafka·linq
一路向北North1 天前
使用reactor-rabbitmq库监听Rabbitmq
分布式·rabbitmq·ruby