Kafka 事物

幂等性是无法保证分区之间是生效的,但是有了事务可以解决跨分区写入消息,通过原子性。生产者给0分区发送消息失败了,失败了1分区就不需要发了。

下面是站在生产者的角度去做一个事务,可以将多条消息的生产放到一个事务当中,要么同时成功,要么同时失败。

幂等性+id同时打开才行。

将100条消息的发送放到一个事务当中。消息发送是键值对,第一个参数是topic名称,第二个参数是key,第三个参数是value。

在执行的过程当中如果没有异常就可以提交事务了,如果有异常就用try catch来做,这样会导致整个事务的失败,所以需要做一个灰姑娘的操作。

可以将100次的操作放到一个事务里面,如果在执行过程中出现了异常,这个时候直接去回滚到事务的起点来完成全部的撤销。这样就可以保证到原子性。

这就是生产者端的事务配置。

相关推荐
2601_962064702 小时前
SpringBoot 整合 Avro 与 Kafka
spring boot·kafka·linq
HashFlag4 小时前
本地极简安装kafka
kafka
ZCBUS实时计算18 小时前
信创混合存储架构落地实战|基于 ZCBUS 实时计算构建证券高可用实时风控数仓
大数据·架构·flink·kafka·dba
Sayai1 天前
Kafka 去 ZooKeeper 实战评估:KRaft 模式架构解析与生产落地决策指南
zookeeper·架构·kafka
StarRocks_labs1 天前
StarRocks x Fluss x Paimon 湖流一体方案:构建秒级响应、湖流一体的实时数据引擎
starrocks·kafka·lambda·查询·paimon·fluss·湖流一体
数智启示录2 天前
实时数据湖 flink CDC + Kafka +Doris 【企业级实战】Checkpoint、Offset、事务与幂等如何闭环 06
大数据·flink·kafka
数智启示录2 天前
实时数据湖 Flink CDC + Kafka +Doris 【企业级实战】之Kafka 事件缓冲层 【附核心源码】 04
java·大数据·flink·kafka·数据库开发
数智启示录2 天前
实时数据湖 flink CDC + Kafka +Doris 【企业级实战】性能调优与生产运维闭环 09
运维·flink·kafka
树下水月2 天前
python3 使用canal监听后,kafka数据同步从mysql到clickhouse数据库 完整复盘
数据库·mysql·kafka
jj_ccwgw3 天前
Kafka 集群开机自启动配置指南
后端·kafka