Kafka Producer之数据重复和乱序问题

文章目录

  • [1. 数据重复](#1. 数据重复)
  • [2. 数据乱序](#2. 数据乱序)

为了可靠性,Kafka有消息重试机制,但是同时也带来了2大问题

1. 数据重复

消息发送到broker后,broker记录消息数据到log中,但是由于网络问题,producer没有收到acks,于是再次发送消息。

除此之外,也可能是其他场景,导致了消息的重复。

2. 数据乱序

如图,消息2、3发送到了broker,但是data1因为网络问题没有到broker,然后被producer重试了,第二次到了,但是顺序乱了。

相关推荐
上上迁1 小时前
分布式生成 ID 策略的演进和最佳实践,含springBoot 实现(Java版本)
java·spring boot·分布式
长路 ㅤ   1 小时前
Java后端技术博客汇总文档
分布式·算法·技术分享·编程学习·java后端
暗影八度3 小时前
Spark流水线数据质量检查组件
大数据·分布式·spark
CodeWithMe4 小时前
【Note】《Kafka: The Definitive Guide》 第5章:深入 Kafka 内部结构,理解分布式日志系统的核心奥秘
分布式·kafka
CodeWithMe4 小时前
【Note】《Kafka: The Definitive Guide》第一章:Meet Kafka
分布式·kafka
CodeWithMe4 小时前
【Note】《Kafka: The Definitive Guide》 第二章 Installing Kafka:Kafka 安装与运行
分布式·kafka
CodeWithMe9 小时前
【Note】《Kafka: The Definitive Guide》 第8章: Cross-Cluster Data Mirroring
分布式·kafka
Alaia.9 小时前
【kafka 3.9.1】单机版集群部署并配置kafka的SASL认证
分布式·kafka
勤奋的知更鸟10 小时前
Kettle + 大数据实战:从数据采集到分布式处理的完整流程指南
大数据·分布式