Kafka中关于事务消息的实现

Kafka的事务消息实现了消息在生产、传输和消费的过程中的"仅一次"传递,也就是所谓的Exactly Once语义。

Kafka的事务消息主要由事务协调器幂等生产者事务性消费这三个核心组件来实现。

事务协调器主要负责事务的启动、提交和终止管理,将事务状态记录到__transaction_state内部的主题;

为了确保同一事务的每条消息只写入一次,Kafka Producer通过Producer ID来作为事务的唯一性标志。

在消费的过程中,消费者可以选择只消费已提交的事务消息,从而确保数据的最终一致性。

我们可以理一下Kafka的事务消息流程:

首先是生产者向Transaction Coordinator请求启动事务;

接下来生产者为了保证幂等性,给每条消息都带上唯一的Producer ID和Sequence Number,开始向Kafka写入事务消息

当所有消息都写入完成后,生产者开始向事务协调去发送commit或者abort请求提交或者终止事务。

最后,消费者为了实现最终的数据一致性,可以通过设置read_commited 隔离级别,只消费已提交的消息

相关推荐
burning_maple1 小时前
设计数据密集型应用阅读笔记
分布式·后端·中间件
alonewolf_991 小时前
RabbitMQ快速上手与核心概念详解
分布式·消息队列·rabbitmq
陌路202 小时前
RPC分布式通信(4)--Zookeeper
分布式·zookeeper·rpc
陌路202 小时前
RPC分布式通信(6)---调用方自动封装请求数据、从 ZK 获取服务地址、建立 TCP 连接发送请求、接收并解析响应
分布式·tcp/ip·rpc
廋到被风吹走2 小时前
【分布式缓存】分布式缓存架构全解析:从 Redis Cluster 到多级缓存策略
分布式·缓存·架构
敏叔V58719 小时前
联邦学习与大模型:隐私保护下的分布式模型训练与微调方案
分布式
短剑重铸之日20 小时前
《7天学会Redis》特别篇: Redis分布式锁
java·redis·分布式·后端·缓存·redission·看门狗机制
重生之绝世牛码1 天前
Linux软件安装 —— kafka集群安装(SASL密码验证)
大数据·linux·运维·服务器·分布式·kafka·软件安装
填满你的记忆1 天前
【从零开始——Redis 进化日志|Day5】分布式锁演进史:从 SETNX 到 Redisson 的完美蜕变
java·数据库·redis·分布式·缓存
無森~1 天前
ZooKeeper
分布式·zookeeper·云原生