kafka消息可靠性传输语义

Kafka提供了多种消息传递语义,以适应不同的业务需求和可靠性要求。以下是Kafka消息传输的可靠性语义及其实现机制:

1. At Most Once(至多一次)

  • 语义:消息可能会丢失,但不会被重复传递。

  • 实现机制

    • 消费者在处理消息之前提交偏移量,导致即使消息处理失败,也认为已经处理完成。

    • 配置enable.auto.commit=true,并设置较短的auto.commit.interval.ms

2. At Least Once(至少一次)

  • 语义:消息不会丢失,但可能会被重复传递。

  • 实现机制

    • 消费者在处理完消息后手动提交偏移量,确保消息不会丢失。

    • 配置enable.auto.commit=false,并在处理每条消息后调用consumer.commitSync()consumer.commitAsync()提交偏移量。

3. Exactly Once(精确一次)

  • 语义:消息既不会丢失,也不会被重复传递。

  • 实现机制

    • 幂等性生产者 :通过配置enable.idempotence=true,确保生产者在重试发送时不会产生重复消息。

    • 事务性生产者和消费者:通过事务确保生产和消费操作要么全部成功,要么全部失败

相关推荐
gtestcandle38 分钟前
rabbitmq 的多用户、多vhost使用
分布式·rabbitmq
老纪的技术唠嗑局1 小时前
单机分布式一体化数据库的架构设计与优化
数据库·分布式
SkyrimCitadelValinor1 小时前
Git【开源分布式版本控制工具】安装-配置-常用指令-Git远程仓库-IDEA使用Git
分布式·git·gitee·开源·项目管理
GBASE1 小时前
“G”术时刻:Linux环境下通过ESQL/C方式连接南大通用GBase 8s数据库(上)
数据库
一只fish1 小时前
MySQL 8.0 OCP 1Z0-908 题目解析(23)
数据库·mysql
不拘小节曹阿蛮1 小时前
Ubuntu 20.04 ARM64架构下面安装mysql5.7.22
数据库
程序猿小D2 小时前
[附源码+数据库+毕业论]基于Spring Boot+mysql+vue结合内容推荐算法的学生咨询系统
数据库·vue.js·spring boot·mysql·毕业设计·推荐算法·学生咨询系统
黄焖鸡能干四碗3 小时前
系统安全设计方案,软件系统安全设计方案
开发语言·数据库·安全·vue·系统安全