Kafka中关于事务消息的实现

Kafka的事务消息实现了消息在生产、传输和消费的过程中的"仅一次"传递,也就是所谓的Exactly Once语义。

Kafka的事务消息主要由事务协调器 、幂等生产者 和事务性消费这三个核心组件来实现。

事务协调器主要负责事务的启动、提交和终止管理,将事务状态记录到__transaction_state内部的主题;

为了确保同一事务的每条消息只写入一次,Kafka Producer通过Producer ID来作为事务的唯一性标志。

在消费的过程中,消费者可以选择只消费已提交的事务消息,从而确保数据的最终一致性。

我们可以理一下Kafka的事务消息流程:

首先是生产者向Transaction Coordinator请求启动事务;

接下来生产者为了保证幂等性,给每条消息都带上唯一的Producer ID和Sequence Number,开始向Kafka写入事务消息;

当所有消息都写入完成后,生产者开始向事务协调去发送commit或者abort请求提交或者终止事务。

最后,消费者为了实现最终的数据一致性,可以通过设置read_commited 隔离级别,只消费已提交的消息。

相关推荐
每天一道题4 小时前
Kafka 是如何工作的?从 Broker、Partition、Offset 到 Consumer Group
分布式·kafka
用户1494484813206 小时前
为什么大厂很少直接用 2PC/TCC?聊聊分布式事务在真实业务里的落地套路
分布式·后端
code_slave(码畜)8 小时前
微服务架构落地:分库分表实战(下) —— 分布式主键、跨分片查询与分页聚合防坑
数据库·spring boot·分布式·spring cloud·微服务·架构·分库分表
德迅云安全-上官8 小时前
新一代智能分布式云接入:应用加速守护 TCP 业务安全与体验
分布式·tcp/ip·安全
凯凯姜8 小时前
分布式定时任务重复执行与故障恢复
分布式
ClouGence9 小时前
还在用命令行管理 Kafka?开源 CloudDM 让操作更简单
数据库·kafka·开源
Sayai10 小时前
Kafka 磁盘空间治理实战:retention 保留策略、log.dirs 在线扩容、分区跨盘迁移与不停机整体换盘
大数据·运维·分布式·kafka·消息队列
爱吃牛肉的大老虎11 小时前
Redis之分布式 Session问题
数据库·redis·分布式
阿标在干嘛11 小时前
分布式锁的“场景适配“:我们为什么在部分链路中选择了数据库乐观锁?
数据库·分布式
孤狼GPT11 小时前
ChatGPT、Codex排查实录:Kafka消费者日志明明显示处理成功,为什么同一条消息还是被重复消费?
kafka·springboot·codex·chatgptplus·chatgptpro