Kafka

kafka如何防止消息丢失?

ack=all且分区ISR数量大于等于2可以保证百分百不会丢失

kafka怎么防止消息重复消费(幂等性)?

全局消息唯一ID

生产者拦截器生成唯一ID作为消息key

消费者执行业务操作数据库和提交offset偏移量这两个操作无法百分百保证事务的原子性(kafka宕机或者数据库宕机)

可以放弃偏移量,用数据库事务的方式百分百保证不会重复消费

消费者连接的数据库建一张本地消息表,消息ID字段唯一索引

消费消息执行业务操作完数据库后往本地消息表中插入消息ID,如果消息重复了就会报唯一冲突就会事务回滚

kafka消息积压怎么优化?

1.增加消费者数量

2.增加分区数量,提高并行消费能力

3.调整消费者的消费能力和参数设置,增加每次拉取的消息数量(fetch size),调整消费者的批量处理配置(batch size)

4.水平扩展 Kafka 集群

5.优化生产者和消费者的性能,异步发送批量发送

6.监控和调整配置: 及时监控 Kafka 集群的状态和指标,例如消息积压量、消费者位移的情况等

kafka高水位机制?

reblance机制?

1.RoundRobinAssignor(轮询分配器):这是一种基本的分配策略,按照消费者实例的顺序依次分配分区,确保每个消费者实例获得近乎相等数量的分区。

2.RangeAssignor(范围分配器):这种策略将分区划分为若干范围,并将每个消费者实例分配一到多个连续范围内的分区。适用于需要将相邻分区分配给同一个消费者的场景。

3.StickyAssignor(粘性分配器):这种策略在一定程度上保持了消费者实例与分区之间的粘性关系,使得消费者在重平衡时尽量保持分区的分配稳定性。

4.CooperativeStickyAssignor(协作粘性分配器):这是一种改进版的粘性分配器,它在粘性的基础上增加了协作机制,通过消费者之间的协调来更好地处理重平衡,降低重平衡带来的消费者停滞时间。

kafka的ack应答级别?

0:生产者发送过来的数据,不需要等数据落盘应答

1:生产者发送过来的数据,Leader收到数据后应答

all:生产者发送过来的数据,Leader和ISR队列里面所有接待你收齐数据后应答。

kafka分区策略?

1.指定分区

2.没指定分区但有key,则将key的hash值取余则为分区号

3.没指定分区也没key,采用粘性分区,随机采用一个分区并一直使用这个分区直到batch满了再选用别的分区

kafka的生产者批量发送参数?

batch.size 批次大小

linger.ms 等待时间

compress.type 压缩类型

RecordAccumulator 缓冲区大小

kafka的消息是顺序的吗?

单个分区中的消息在特定条件下是的

未开启幂等性时max.in.flight.requests.per.connection=1

开启幂等性时max.in.flight.requests.per.connection小于或等于5,会在kafka内存中重新排序

多个分区中的消息无法保证全局的顺序性

相关推荐
GoodStudyAndDayDayUp4 小时前
一个简单的java jar跑docker
java·docker·jar
Nebula_g4 小时前
JavaSE加强:Commons-io框架
java·开发语言·算法·javase
程序猿_极客4 小时前
【免费】2026分享一套优质的基于Java的电子产品抢购管理系统的设计与实现(智能推荐算法+可视化图表),源码+文档+视频详解(讲解)
java·spring boot·后端·协同过滤·电子产品抢购系统
小羊没烦恼!4 小时前
关于大型asp.net应用系统的架构-架构的选择
java·服务器·开发语言·前端·c#
天空鸟_时光不老4 小时前
09-RAG问答系统落地:从默认分割器的坑到Milvus召回调优
java·人工智能·spring boot·spring·spring cloud·maven·mybatis
小羊没烦恼!5 小时前
Windows Azure Platform体验(1):Windows Azure
java·大数据·后端·python·flask·word·.net
suaizai_5 小时前
ComputerUse:让AI真正操控桌面系统
java·前端·javascript
fundoit5 小时前
资源服务器如何对 JWT 进行验签
java·运维·服务器·spring boot·php·oauth2
hljqwb5 小时前
java服务异常日志只打印异常类型,没有堆栈定位分析(十)
java·开发语言
ym hyd 1115 小时前
生鲜超市库存管理信息系统源码 Java+SpringBoot+Vue3 前后分离
java·开发语言·vue.js·spring boot·毕设