Kafka

kafka如何防止消息丢失?

ack=all且分区ISR数量大于等于2可以保证百分百不会丢失

kafka怎么防止消息重复消费(幂等性)?

全局消息唯一ID

生产者拦截器生成唯一ID作为消息key

消费者执行业务操作数据库和提交offset偏移量这两个操作无法百分百保证事务的原子性(kafka宕机或者数据库宕机)

可以放弃偏移量,用数据库事务的方式百分百保证不会重复消费

消费者连接的数据库建一张本地消息表,消息ID字段唯一索引

消费消息执行业务操作完数据库后往本地消息表中插入消息ID,如果消息重复了就会报唯一冲突就会事务回滚

kafka消息积压怎么优化?

1.增加消费者数量

2.增加分区数量,提高并行消费能力

3.调整消费者的消费能力和参数设置,增加每次拉取的消息数量(fetch size),调整消费者的批量处理配置(batch size)

4.水平扩展 Kafka 集群

5.优化生产者和消费者的性能,异步发送批量发送

6.监控和调整配置: 及时监控 Kafka 集群的状态和指标,例如消息积压量、消费者位移的情况等

kafka高水位机制?

reblance机制?

1.RoundRobinAssignor(轮询分配器):这是一种基本的分配策略,按照消费者实例的顺序依次分配分区,确保每个消费者实例获得近乎相等数量的分区。

2.RangeAssignor(范围分配器):这种策略将分区划分为若干范围,并将每个消费者实例分配一到多个连续范围内的分区。适用于需要将相邻分区分配给同一个消费者的场景。

3.StickyAssignor(粘性分配器):这种策略在一定程度上保持了消费者实例与分区之间的粘性关系,使得消费者在重平衡时尽量保持分区的分配稳定性。

4.CooperativeStickyAssignor(协作粘性分配器):这是一种改进版的粘性分配器,它在粘性的基础上增加了协作机制,通过消费者之间的协调来更好地处理重平衡,降低重平衡带来的消费者停滞时间。

kafka的ack应答级别?

0:生产者发送过来的数据,不需要等数据落盘应答

1:生产者发送过来的数据,Leader收到数据后应答

all:生产者发送过来的数据,Leader和ISR队列里面所有接待你收齐数据后应答。

kafka分区策略?

1.指定分区

2.没指定分区但有key,则将key的hash值取余则为分区号

3.没指定分区也没key,采用粘性分区,随机采用一个分区并一直使用这个分区直到batch满了再选用别的分区

kafka的生产者批量发送参数?

batch.size 批次大小

linger.ms 等待时间

compress.type 压缩类型

RecordAccumulator 缓冲区大小

kafka的消息是顺序的吗?

单个分区中的消息在特定条件下是的

未开启幂等性时max.in.flight.requests.per.connection=1

开启幂等性时max.in.flight.requests.per.connection小于或等于5,会在kafka内存中重新排序

多个分区中的消息无法保证全局的顺序性

相关推荐
wellc35 分钟前
SpringBoot集成Flowable
java·spring boot·后端
Hui Baby1 小时前
springAi+MCP三种
java
hsjcjh1 小时前
【MySQL】C# 连接MySQL
java
敖正炀1 小时前
LinkedBlockingDeque详解
java
wangyadong3171 小时前
datagrip 链接mysql 报错
java
untE EADO1 小时前
Tomcat的server.xml配置详解
xml·java·tomcat
ictI CABL2 小时前
Tomcat 乱码问题彻底解决
java·tomcat
敖正炀2 小时前
DelayQueue 详解
java
敖正炀2 小时前
PriorityBlockingQueue 详解
java
shark22222222 小时前
Spring 的三种注入方式?
java·数据库·spring