Kafka中关于事务消息的实现

Kafka的事务消息实现了消息在生产、传输和消费的过程中的"仅一次"传递,也就是所谓的Exactly Once语义。

Kafka的事务消息主要由事务协调器幂等生产者事务性消费这三个核心组件来实现。

事务协调器主要负责事务的启动、提交和终止管理,将事务状态记录到__transaction_state内部的主题;

为了确保同一事务的每条消息只写入一次,Kafka Producer通过Producer ID来作为事务的唯一性标志。

在消费的过程中,消费者可以选择只消费已提交的事务消息,从而确保数据的最终一致性。

我们可以理一下Kafka的事务消息流程:

首先是生产者向Transaction Coordinator请求启动事务;

接下来生产者为了保证幂等性,给每条消息都带上唯一的Producer ID和Sequence Number,开始向Kafka写入事务消息

当所有消息都写入完成后,生产者开始向事务协调去发送commit或者abort请求提交或者终止事务。

最后,消费者为了实现最终的数据一致性,可以通过设置read_commited 隔离级别,只消费已提交的消息

相关推荐
IT机器猫1 小时前
RabbitMQ基础二
java·spring boot·分布式·spring cloud·log4j·rabbitmq·springamqp
水无痕simon2 小时前
3 RabbitMQ基础
分布式·rabbitmq·ruby
starzy199018 小时前
SparkSQL 数据源与底层架构深度剖析
大数据·分布式·架构·spark
番茄炒鸡蛋加糖19 小时前
RabbitMQ 全套复盘 + Nacos+ES+MyBatis-Plus 梳理
分布式·rabbitmq
零域码客1 天前
从 SQLite 到 PostgreSQL:轻量单机到分布式架构选型、避坑与迁移全解析
分布式·postgresql·sqlite·wal·架构设计·后端开发·数据库选型
ltl1 天前
2PC 的真实失败模式:阻塞、脑裂与恢复
分布式
霸道流氓气质2 天前
分布式系统设计:技术解析与实践
分布式
画中有画2 天前
分布式锁架构方案选型与实践
分布式·架构
ACP广源盛139246256732 天前
蚂蚁百灵 Ling‑3.0‑flash 开源 + 昇腾 0‑Day 原生适配@ACP#GSV9001E 在国产算力矩阵中的机会与落地场景
大数据·人工智能·分布式·单片机·嵌入式硬件
汽车仪器仪表相关领域2 天前
KRYPTON坚固型IP67 EtherCAT总线数据采集模块:工业级分布式采集方案
分布式·功能测试·汽车·压力测试·可用性测试