kafka消息可靠性传输语义

Kafka提供了多种消息传递语义,以适应不同的业务需求和可靠性要求。以下是Kafka消息传输的可靠性语义及其实现机制:

1. At Most Once(至多一次)

  • 语义:消息可能会丢失,但不会被重复传递。

  • 实现机制

    • 消费者在处理消息之前提交偏移量,导致即使消息处理失败,也认为已经处理完成。

    • 配置enable.auto.commit=true,并设置较短的auto.commit.interval.ms

2. At Least Once(至少一次)

  • 语义:消息不会丢失,但可能会被重复传递。

  • 实现机制

    • 消费者在处理完消息后手动提交偏移量,确保消息不会丢失。

    • 配置enable.auto.commit=false,并在处理每条消息后调用consumer.commitSync()consumer.commitAsync()提交偏移量。

3. Exactly Once(精确一次)

  • 语义:消息既不会丢失,也不会被重复传递。

  • 实现机制

    • 幂等性生产者 :通过配置enable.idempotence=true,确保生产者在重试发送时不会产生重复消息。

    • 事务性生产者和消费者:通过事务确保生产和消费操作要么全部成功,要么全部失败

相关推荐
搬码红绿灯39 分钟前
数据库——MySQL数字函数和子查询
数据库·mysql
侧耳倾听11144 分钟前
使用内存数据库来为mapper层的接口编写单元测试
数据库·单元测试
ifanatic1 小时前
[每周一更]-(第138期):MySQL 子查询详解:原理、应用及优化方案
数据库·mysql
TDengine (老段)1 小时前
TDengine 中的日志系统
java·大数据·数据库·物联网·时序数据库·tdengine·iotdb
kfepiza2 小时前
Debian编译安装mysql8.0.41源码包 笔记250401
数据库·笔记·mysql·debian·database
tjfsuxyy2 小时前
SqlServer整库迁移至Oracle
数据库·oracle·sqlserver
牛马小陈同学2 小时前
Kafka+Zookeeper从docker部署到spring boot使用完整教程
linux·spring boot·docker·zookeeper·kafka·prettyzoo·kafka-ui
老王笔记3 小时前
MySQL统计信息
数据库·mysql