Kafka Producer之ACKS应答机制

文章目录

  • [1. 应答机制](#1. 应答机制)
  • [2. 等级0](#2. 等级0)
  • [3. 等级1](#3. 等级1)
  • [4. 等级all](#4. 等级all)
  • [5. 设置等级](#5. 设置等级)
  • [6. ISR](#6. ISR)

1. 应答机制

异步发送的效率高,但是不安全,同步发送安全,但是效率低。

无论哪一种,有一个关键的步骤叫做回调,也就是ACKS应答机制。

其中ACKS也分为3个等级。默认等级是all。

等级 效率 安全
all(-1) 效率低 安全性高
1 效率中 安全性中
0 效率高 安全性低

2. 等级0

  • 生产者发送消息到Kafka集群。
  • 消息进入网络发送队列。
  • 生产者立即返回(认为消息已发送),不等待任何Broker的确认。

3. 等级1

  • 生产者发送消息到Kafka集群。
  • Leader分区接收消息,将消息写入本地日志。
  • Leader分区将消息同步到磁盘(如果配置了日志刷新)。
  • Leader分区返回确认(ACK)给生产者。
  • 生产者收到ACK,继续处理下一条消息。

4. 等级all

  • 生产者发送消息到Kafka集群。
  • Leader分区接收消息,将消息写入本地日志。
  • Leader分区将消息同步到磁盘(如果配置了日志刷新)。
  • Leader分区将消息发送给所有同步副本(ISR)。
  • 每个同步副本(Follower)将消息写入本地日志并返回确认给Leader。
  • Leader分区收到所有同步副本的确认后,返回ACK给生产者。
  • 生产者收到ACK,继续处理下一条消息。

5. 设置等级

java 复制代码
        //创建producer
        HashMap<String, Object> config = new HashMap<>();
        config.put(ProducerConfig.BOOTSTRAP_SERVERS_CONFIG, "localhost:19092");
        config.put(ProducerConfig.KEY_SERIALIZER_CLASS_CONFIG, StringSerializer.class.getName());
        config.put(ProducerConfig.VALUE_SERIALIZER_CLASS_CONFIG, StringSerializer.class.getName());
        //配置acks等级
        config.put(ProducerConfig.ACKS_CONFIG, "-1");

        KafkaProducer<String, String> producer = new KafkaProducer<String, String>(config);

6. ISR

ISR的定义:

  • 成员 :ISR包括Leader和所有与Leader保持同步的Follower分区。保持同步的标准是Follower分区的日志不落后于Leader分区超过指定的时间(由replica.lag.time.max.ms配置)。
  • 目的:确保在Leader发生故障时,可以迅速从ISR中选举一个新的Leader,从而保证分区的高可用性。

ISR的动态调整:

  • Kafka会动态调整ISR的成员。如果一个Follower分区落后于Leader超过一定的时间,Kafka会将其从ISR中移除。
  • 当该Follower分区重新追上Leader并满足同步标准时,Kafka会将其重新加入ISR。
相关推荐
喜闻乐见天11 分钟前
Kafka双机KRaft集群部署
kafka
Matrix704 小时前
Kafka 单节点测试环境部署实战
大数据·kafka
电磁脑机5 小时前
人脑电磁路由拓扑与外耦合脑机接口基础理论
分布式·神经网络·安全·交互
马剑威(威哥爱编程)5 小时前
HarmonyOS 6.0 分布式任务调度 API 详解:把多设备玩成单设备
分布式·华为·harmonyos
嵌入式老牛6 小时前
SST专题3-1 基于光分路器的MMC分布式控制系统架构
分布式·架构·驱动·光纤·sst
F_D_Z6 小时前
Word Embedding :从分布式假设到神经网络语言模型
分布式·word·embedding
feifeigo1238 小时前
航天器交会的分布式模型预测控制(DMPC)MATLAB实现
开发语言·分布式·matlab
CET中电技术8 小时前
CET中电技术如何助光伏企业在“四可“时代抢占先机?
分布式
Elastic 中国社区官方博客8 小时前
将 Logstash 管道从 Azure Event Hubs 迁移到 Kafka 输入插件
大数据·数据库·elasticsearch·microsoft·搜索引擎·kafka·azure
人间打气筒(Ada)9 小时前
「码动四季·开源同行」go语言:如何使用 ELK 进行日志采集以及统一处理?
开发语言·分布式·elk·go·日志收集·分布式日志系统