Kafka 入门到起飞 - 生产者参数详解 ,什么是生产者确认机制? 什么是ISR? 什么是 OSR?

上回书我们讲了,生产者发送消息流程解析传送门

那么这篇我们来看下,生产者发送消息时几个重要的参数详解 ,什么是生产者确认机制? 什么是ISR? 什么是 OSR?

参数:

bootstrap.servers : Kafka 集群地址 host1:port1,host2:port2,host3:port3

不需要写Kafka集群中全部的broker地址,但是也不要写一个,2-3个即可,防止节点宕机时集群不可用
key.serializer: key 的序列化器 ,指定key怎么转换成字节数组

value.serializer: value的序列化器 ,指定value怎么转换成字节数组

compression type: 默认值:none,对批次消息进行压缩的方式,gzip,snappy、lz4等

retries : 设置重试次数,消息重试存在乱序的可能
max.in.flight.requests.per.connection = 1 可以解决乱序问题,对于当前连接,有一个等待确认的消息,不会再发送后面消息,即确认一个发送一个,保证消息的有序性

什么是生产者确认机制?

我们在生产者发送消息时可以指定acks参数值,来决定收到消息发送后什么样的确认即可继续发送后面的消息

acks : 生产者发送消息确认机制
acks = 0 : 生产者不等broker确认,不断发送消息,发送消息快,允许丢消息,只要将消息放到了socket的缓冲区,就认为消息已发送成功
acks = 1: 默认值,允许少量消息丢失,broker上leader分区写入消息即返回生产者消息确认,不等待follower副本分区的确认,这种情况下,存在消息丢失的风险
acks = all : 确保消息不丢失,最强可用性,保证所有(ISR)同步副本分区都同步成功消息才返回生产者确认消息

什么是ISR? 什么是 OSR?

ISR (In-Sync Replicas): 同步副本

在一定时间内和leader保持数据同步的副本列表,这句话可以看到副本保持在ISR集合中需要两个条件,一定时间内 和 与leader副本保持数据同步

1、rerplica.lag.time.max.ms=10000 参数设置follower副本向ISR发送心跳的最大延迟时间,默认10s 也就是说10s内follower还没有向leader去同步数据,就会认为这个副本不行了,将它踢出ISR

2、rerplica.lag.max.messages=4000 参数设置消息的最大延迟条数,就是如果follower比leader消息数少4000条以上,就认为这个副本不行了,将它踢出ISR

在Kafka高版本中,取消了条件2的限制

OSR (Out-of-Sync Replicas): 非同步副本

从上面ISR中剔除的副本将会被放到OSR中,当OSR中副本满足ISR的条件,会重新加入到ISR中

值得注意的是,上面生产者确认机制中说到的副本同步,指的是ISR中的副本,并不包括OSR中的副本

相关推荐
予枫的编程笔记10 分钟前
【Kafka进阶篇】Spring Boot Kafka客户端踩坑记:自定义序列化器+ContainerFactory调优指南
java·spring boot·kafka·java21·并发消费·kafka客户端·自定义序列化器
予枫的编程笔记22 分钟前
【Kafka进阶篇】Canal+Kafka+ES实战:内容平台数据同步难题,这样解最优雅
redis·mysql·elasticsearch·kafka·canal·数据同步·异步解耦
西***634728 分钟前
多领域落地验证:分布式 KVM 如何成为指挥中心的 “协同核心引擎”
分布式
安科瑞解决方案一站通30 分钟前
分布式光储监控系统的四个实战样本:从分散走向聚合的技术路径
分布式·微电网·电力·配电·零碳园区·用电安全
知识即是力量ol40 分钟前
深入理解 Snowflake 雪花算法:原理、本质、趋势递增问题与分布式顺序困境全解析
java·分布式·算法·雪花算法·snowflake·全局唯一id·分布式id生成器
gs8014044 分钟前
从零到一:构建高可用分布式 Server-Sent Events (SSE) 实时推送系统
分布式·sse
2301_775763021 小时前
从零到一:用 openYuanrong 训练分布式强化学习 Agent(完整实操指南)
分布式
薛定e的猫咪1 小时前
【Bayesian Analysis 2023】大数据背景下的分布式贝叶斯模型选择
大数据·分布式·算法·数学建模
键盘鼓手苏苏11 小时前
Flutter for OpenHarmony: Flutter 三方库 ntp 精准同步鸿蒙设备系统时间(分布式协同授时利器)
android·分布式·算法·flutter·华为·中间件·harmonyos