kafka生产消费问题

一、kafka生产问题

1.漏发

生产者发送时候 有可能节点突然挂掉,send返回future,get(),同步发送,还可以在pro设置重试次数来容错,可以在失败时候,存储到哪里,另一个线程补发,不影响主流程

2.broker数据同步

broker里也可能出现问题,acks设置all,保证所有副本也收到消息

二、kafka消费问题

1.重复消费-md5

如果生产者,生产该topic这一批数据时候,可以带一个唯一标识,消费者可以message生成md5,以记录消费过该条消息

2.重复消费-手动控制offset

消费者可以用try catch来控制offset的提交, 自动提交是每5秒提交一次,消费节点离开或者加入,或者扩分区,都会导致rebalance,rebalance会导致offset重置

相关推荐
苏小夕夕19 分钟前
spark-streaming(二)
大数据·spark·kafka
〆、风神28 分钟前
Spring Boot 整合 Lock4j + Redisson 实现分布式锁实战
spring boot·分布式·后端
胡萝卜糊了Ohh2 小时前
kafka
分布式·kafka
桑榆08064 小时前
Spark-Streaming核心编程
大数据·分布式·spark
nbsaas-boot5 小时前
分布式微服务架构,数据库连接池设计策略
分布式·微服务·架构
掘金-我是哪吒7 小时前
分布式微服务系统架构第119集:WebSocket监控服务内部原理和执行流程
分布式·websocket·微服务·架构·系统架构
企鹅不耐热.10 小时前
Spark-Streaming核心编程
大数据·分布式·spark
掘金-我是哪吒10 小时前
分布式微服务系统架构第120集:专业WebSocket鉴权
分布式·websocket·微服务·云原生·架构
我是苏苏11 小时前
消息中间件RabbitMQ-01:简要介绍及其Windows安装流程
分布式·rabbitmq
码熔burning11 小时前
【MQ篇】初识RabbitMQ保证消息可靠性
java·分布式·rabbitmq·可靠性