Kafka Producer之数据重复和乱序问题

文章目录

  • [1. 数据重复](#1. 数据重复)
  • [2. 数据乱序](#2. 数据乱序)

为了可靠性,Kafka有消息重试机制,但是同时也带来了2大问题

1. 数据重复

消息发送到broker后,broker记录消息数据到log中,但是由于网络问题,producer没有收到acks,于是再次发送消息。

除此之外,也可能是其他场景,导致了消息的重复。

2. 数据乱序

如图,消息2、3发送到了broker,但是data1因为网络问题没有到broker,然后被producer重试了,第二次到了,但是顺序乱了。

相关推荐
只因在人海中多看了你一眼2 小时前
分布式缓存 + 数据存储 + 消息队列知识体系
分布式·缓存
zhixingheyi_tian5 小时前
Spark 之 Aggregate
大数据·分布式·spark
KevinAha6 小时前
Kafka 3.5 源码导读
kafka
求积分不加C6 小时前
-bash: ./kafka-topics.sh: No such file or directory--解决方案
分布式·kafka
nathan05296 小时前
javaer快速上手kafka
分布式·kafka
激流丶9 小时前
【Kafka 实战】Kafka 如何保证消息的顺序性?
java·后端·kafka
谭震鸿10 小时前
Zookeeper集群搭建Centos环境下
分布式·zookeeper·centos
天冬忘忧15 小时前
Kafka 工作流程解析:从 Broker 工作原理、节点的服役、退役、副本的生成到数据存储与读写优化
大数据·分布式·kafka
工业甲酰苯胺17 小时前
Python脚本消费多个Kafka topic
开发语言·python·kafka
B站计算机毕业设计超人19 小时前
计算机毕业设计SparkStreaming+Kafka新能源汽车推荐系统 汽车数据分析可视化大屏 新能源汽车推荐系统 汽车爬虫 汽车大数据 机器学习
数据仓库·爬虫·python·数据分析·kafka·数据可视化·推荐算法