kafka生产消费问题

一、kafka生产问题

1.漏发

生产者发送时候 有可能节点突然挂掉,send返回future,get(),同步发送,还可以在pro设置重试次数来容错,可以在失败时候,存储到哪里,另一个线程补发,不影响主流程

2.broker数据同步

broker里也可能出现问题,acks设置all,保证所有副本也收到消息

二、kafka消费问题

1.重复消费-md5

如果生产者,生产该topic这一批数据时候,可以带一个唯一标识,消费者可以message生成md5,以记录消费过该条消息

2.重复消费-手动控制offset

消费者可以用try catch来控制offset的提交, 自动提交是每5秒提交一次,消费节点离开或者加入,或者扩分区,都会导致rebalance,rebalance会导致offset重置

相关推荐
KIDAKN1 小时前
Redis 分布式锁
数据库·redis·分布式
KIDAKN1 小时前
RabbitMQ 工作模式
分布式·rabbitmq
百思可瑞教育1 小时前
ActiveMQ、RocketMQ、RabbitMQ、Kafka 的全面对比分析
vue.js·分布式·rabbitmq·rocketmq·activemq·北京百思可瑞教育·百思可瑞教育
KIDAKN9 小时前
RabbitMQ 初步认识
分布式·rabbitmq
pan3035074799 小时前
Kafka 和 RabbitMQ的选择
分布式·kafka·rabbitmq
hzulwy11 小时前
Kafka基础理论
分布式·kafka
明达智控技术12 小时前
MR30分布式IO在全自动中药煎药机中的应用
分布式·物联网·自动化
jakeswang13 小时前
细说分布式ID
分布式
失散1314 小时前
分布式专题——1.2 Redis7核心数据结构
java·数据结构·redis·分布式·架构
王中阳Go15 小时前
头一次见问这么多kafka的问题
分布式·kafka