【kafka】kafka如何保证数据的可靠性,kafka如何保证数据不丢失

1. Kafka架构:

Producer - Broker - Consumer

回到问题上来,Kafka如何保证数据不丢失,我们先看看Kafka如何保证Producer端数据不丢失: 通过ack机制 + 最小副本数设置+ 生产者重试机制

2. Kafka Producer消息发送ACK机制:

ACK机制:

问个问题:Kafka什么时候会丢失数据?

  1. 情况一,Producer向kafka发送消息的时候,ack设置的是0,(0就是producer向broker发生数据后,不需要ack确认)如果这个时候broker leader节点宕机,这个时候数据在broker leader中还没有存储,也没有同步到broker follower节点中,数据就会丢失。

Producer默认的ack确认值是-1,就是leader接收消息后发生ack确认给producer。

  1. 情况二,Producer向Kafka发生消息的时候,由于Kafka先将数据存储在Block cache中,当cache满了才刷到磁盘上。如果这个时候整个kafka集群整体出现故障,那也会导致数据丢失。
相关推荐
F***c3251 小时前
PHP在微服务中的分布式跟踪
分布式·微服务·php
深蓝电商API4 小时前
Scrapy + Scrapy-Redis 分布式爬虫集群部署(2025 最新版)
redis·分布式·scrapy
Sinowintop5 小时前
易连EDI-EasyLink无缝集成之消息队列Kafka
分布式·网络协议·kafka·集成·国产化·as2·国产edi
玩转以太网5 小时前
W55MH32 单芯片以太网方案:破解分布式 IO 三大痛点
分布式·物联网
佛祖让我来巡山6 小时前
Kafka入门:从初识到Spring Boot实战
kafka·kafka入门·kafka案例
小坏讲微服务7 小时前
Spring Cloud Alibaba 整合 Scala 教程完整使用
java·开发语言·分布式·spring cloud·sentinel·scala·后端开发
pale_moonlight7 小时前
九、Spark基础环境实战((上)虚拟机安装Scala与windows端安装Scala)
大数据·分布式·spark
二进制_博客8 小时前
eventTime+watermarker+allowedLateness到底窗口关闭时间是什么?
flink·kafka
BD_Marathon8 小时前
【Zookeeper】CAP理论——CAP介绍
linux·分布式·zookeeper
j***576810 小时前
【分布式文件存储系统Minio】2024.12保姆级教程
分布式