kafka消息可靠性传输语义

Kafka提供了多种消息传递语义,以适应不同的业务需求和可靠性要求。以下是Kafka消息传输的可靠性语义及其实现机制:

1. At Most Once(至多一次)

  • 语义:消息可能会丢失,但不会被重复传递。

  • 实现机制:

    • 消费者在处理消息之前提交偏移量,导致即使消息处理失败,也认为已经处理完成。

    • 配置enable.auto.commit=true,并设置较短的auto.commit.interval.ms。

2. At Least Once(至少一次)

  • 语义:消息不会丢失,但可能会被重复传递。

  • 实现机制:

    • 消费者在处理完消息后手动提交偏移量,确保消息不会丢失。

    • 配置enable.auto.commit=false,并在处理每条消息后调用consumer.commitSync()或consumer.commitAsync()提交偏移量。

3. Exactly Once(精确一次)

  • 语义:消息既不会丢失,也不会被重复传递。

  • 实现机制:

    • 幂等性生产者 :通过配置enable.idempotence=true,确保生产者在重试发送时不会产生重复消息。

    • 事务性生产者和消费者:通过事务确保生产和消费操作要么全部成功,要么全部失败

相关推荐
CoderYanger1 小时前
Java EE 进阶:9.MyBatis 操作数据库(进阶)(第一弹)
java·数据库·spring·面试·java-ee·tomcat·mybatis
隔窗听雨眠14 小时前
SQL执行计划固化的原理与稳定性工程
数据库·sql优化·执行计划
TDengine (老段)16 小时前
TDengine IDMP 功能点—数据接入
大数据·数据库·物联网·时序数据库·tdengine·涛思数据
索西引擎16 小时前
MySQL 进阶:视图、存储过程、存储函数与触发器
数据库·mysql
bksczm18 小时前
InnoDB 通用表空间与临时表空间详解
大数据·数据库·mysql
靠沿18 小时前
MySQL数据库进阶——存储过程和触发器
java·数据库·mysql
码少女19 小时前
MySQL--库与表的增删改查基础
java·数据库·mysql
Eyfcom19 小时前
〖物流 SaaS 实战 02〗SaaS 租户的计费与订阅模型:从“一锤子买卖”到“按需订阅”
linux·服务器·数据库·快递系统·物流saas实战
打工的小王20 小时前
postgresql和mysql对比
数据库·mysql·postgresql
数据库急诊室_阿哲21 小时前
一次割接后的性能复核记录:基线、样本、回滚点
运维·数据库·dba