kafka消息可靠性传输语义

Kafka提供了多种消息传递语义,以适应不同的业务需求和可靠性要求。以下是Kafka消息传输的可靠性语义及其实现机制:

1. At Most Once(至多一次)

  • 语义:消息可能会丢失,但不会被重复传递。

  • 实现机制

    • 消费者在处理消息之前提交偏移量,导致即使消息处理失败,也认为已经处理完成。

    • 配置enable.auto.commit=true,并设置较短的auto.commit.interval.ms

2. At Least Once(至少一次)

  • 语义:消息不会丢失,但可能会被重复传递。

  • 实现机制

    • 消费者在处理完消息后手动提交偏移量,确保消息不会丢失。

    • 配置enable.auto.commit=false,并在处理每条消息后调用consumer.commitSync()consumer.commitAsync()提交偏移量。

3. Exactly Once(精确一次)

  • 语义:消息既不会丢失,也不会被重复传递。

  • 实现机制

    • 幂等性生产者 :通过配置enable.idempotence=true,确保生产者在重试发送时不会产生重复消息。

    • 事务性生产者和消费者:通过事务确保生产和消费操作要么全部成功,要么全部失败

相关推荐
黄焖鸡能干四碗15 分钟前
系统安全设计方案,软件系统安全设计方案
开发语言·数据库·安全·vue·系统安全
He.ZaoCha42 分钟前
函数-3-日期函数
数据库·sql·mysql
paopaokaka_luck1 小时前
基于Spring Boot+Vue的巴彦淖尔旅游网站(AI问答、腾讯地图API、WebSocket及时通讯、支付宝沙盒支付)
数据库·vue.js·spring boot·websocket·mysql·毕业设计·旅游
{⌐■_■}1 小时前
【软件工程】tob和toc含义理解
前端·数据库·mysql·golang·软件工程·tidb
幼稚园的山代王2 小时前
RabbitMQ 4.1.1-Local random exchange体验
分布式·rabbitmq
工藤学编程2 小时前
分库分表之实战-sharding-JDBC水平分库+分表后:查询与删除操作实战
数据库·spring boot·后端·sql·mysql
秋也凉2 小时前
redis的命令集合
数据库·redis·缓存
C++ 老炮儿的技术栈3 小时前
Visual Studio 2022 MFC Dialog 添加Toolbar及Tips提示
服务器·c语言·数据库·c++·ide·算法·visual studio
vivo互联网技术3 小时前
vivo Pulsar 万亿级消息处理实践(3)-KoP指标异常修复
java·大数据·服务器·后端·kafka·消息队列·pulsar