kafka生产消费问题

一、kafka生产问题

1.漏发

生产者发送时候 有可能节点突然挂掉,send返回future,get(),同步发送,还可以在pro设置重试次数来容错,可以在失败时候,存储到哪里,另一个线程补发,不影响主流程

2.broker数据同步

broker里也可能出现问题,acks设置all,保证所有副本也收到消息

二、kafka消费问题

1.重复消费-md5

如果生产者,生产该topic这一批数据时候,可以带一个唯一标识,消费者可以message生成md5,以记录消费过该条消息

2.重复消费-手动控制offset

消费者可以用try catch来控制offset的提交, 自动提交是每5秒提交一次,消费节点离开或者加入,或者扩分区,都会导致rebalance,rebalance会导致offset重置

相关推荐
沉默终止4 小时前
Kafka Queue: 完成 alterShareGroupOffsets Api
kafka
大数据005 小时前
CLICKHOUSE分布式表初体验
分布式·clickhouse
失散135 小时前
分布式专题——43 ElasticSearch概述
java·分布式·elasticsearch·架构
爬山算法9 小时前
Redis(66)Redis如何实现分布式锁?
数据库·redis·分布式
W.Buffer10 小时前
Kafka零拷贝原理深度解析:从传统拷贝痛点到工作实践优化
分布式·kafka
没有bug.的程序员11 小时前
服务治理与 API 网关:微服务流量管理的艺术
java·分布式·微服务·架构·wpf
心态特好11 小时前
解锁分布式唯一 ID:技术、实践与最佳方案
分布式·生活
shinelord明13 小时前
【大数据技术实战】Kafka 认证机制全解析
大数据·数据结构·分布式·架构·kafka
BUTCHER516 小时前
Kafka多网卡环境配置
分布式·kafka
鸿蒙小白龙17 小时前
openharmony之分布式蓝牙实现多功能场景设备协同实战
分布式·harmonyos·鸿蒙·鸿蒙系统·open harmony