kafka生产消费问题

一、kafka生产问题

1.漏发

生产者发送时候 有可能节点突然挂掉,send返回future,get(),同步发送,还可以在pro设置重试次数来容错,可以在失败时候,存储到哪里,另一个线程补发,不影响主流程

2.broker数据同步

broker里也可能出现问题,acks设置all,保证所有副本也收到消息

二、kafka消费问题

1.重复消费-md5

如果生产者,生产该topic这一批数据时候,可以带一个唯一标识,消费者可以message生成md5,以记录消费过该条消息

2.重复消费-手动控制offset

消费者可以用try catch来控制offset的提交, 自动提交是每5秒提交一次,消费节点离开或者加入,或者扩分区,都会导致rebalance,rebalance会导致offset重置

相关推荐
菜鸡儿齐7 小时前
kafka简介
分布式·kafka
周杰伦_Jay7 小时前
【实战|旅游知识问答RAG系统全链路解析】从配置到落地(附真实日志数据)
大数据·人工智能·分布式·机器学习·架构·旅游·1024程序员节
深兰科技10 小时前
深兰科技入选“2025中国人工智能行业创新力企业百强”
人工智能·科技·百度·kafka·rabbitmq·memcached·深兰科技
兜兜风d'10 小时前
RabbitMQ事务机制详解
数据库·spring boot·分布式·rabbitmq·ruby·java-rabbitmq
ifeng091810 小时前
HarmonyOS分布式任务调度——跨设备智能任务分配与迁移
分布式·华为·harmonyos
9ilk10 小时前
【仿RabbitMQ的发布订阅式消息队列】--- 模块设计与划分
c++·笔记·分布式·后端·中间件·rabbitmq
Hello World......12 小时前
互联网大厂Java面试实战:以Spring Boot与微服务为核心的技术场景剖析
java·spring boot·redis·微服务·junit·kafka·spring security
linweidong12 小时前
多级缓存系统设计:从本地到分布式,打造高性能利器
分布式·缓存·消息队列·雪崩·java面经·击穿·消费端
西***634712 小时前
怕故障?怕扩展难?分布式可视化控制:给足场景安全感
分布式·数据可视化
qq_54702617912 小时前
分布式Session会话实现方案
分布式