kafka生产消费问题

一、kafka生产问题

1.漏发

生产者发送时候 有可能节点突然挂掉,send返回future,get(),同步发送,还可以在pro设置重试次数来容错,可以在失败时候,存储到哪里,另一个线程补发,不影响主流程

2.broker数据同步

broker里也可能出现问题,acks设置all,保证所有副本也收到消息

二、kafka消费问题

1.重复消费-md5

如果生产者,生产该topic这一批数据时候,可以带一个唯一标识,消费者可以message生成md5,以记录消费过该条消息

2.重复消费-手动控制offset

消费者可以用try catch来控制offset的提交, 自动提交是每5秒提交一次,消费节点离开或者加入,或者扩分区,都会导致rebalance,rebalance会导致offset重置

相关推荐
bksczm1 分钟前
Redis Cluster 分片集群详解:槽路由、故障判定与扩缩容
数据库·redis·分布式
txxzjmzlh1 小时前
RabbitMQ安装
分布式·rabbitmq
用户3610588626121 小时前
Kafka源码深度剖析:KafkaProducer最终如何处理响应
kafka
AI源码9 小时前
基于Spark的期刊推荐系统的设计与实现
大数据·分布式·spark
goehou1 天前
Kafka 的默认配置适合演示,不适合生产
kafka·消息队列·幂等·ai agent
国科安芯1 天前
CAN FD一升到5Mbps就误码:位定时、终端与共模的现场排查顺序——ASM1042S2S在星载分布式总线中的FAE实践
分布式·安全·架构·canfd·dcdc·抗辐射·载荷
ClouGence1 天前
开源数据库管理工具 CloudDM 发布新版本,支持 GreptimeDB 数据源
数据库·kafka
用户3610588626122 天前
KafkaProducer 源码深度剖析:筛选可以发送消息的 Broker
kafka
西木Qi2 天前
Kafka消息中间件单机版安装配置
分布式·kafka
OriginCoding2 天前
一个 JDK 跑起六个分布式挑战:Kotlin 版 Gossip Glomers(一)
分布式·kotlin