Kafka 事物

幂等性是无法保证分区之间是生效的,但是有了事务可以解决跨分区写入消息,通过原子性。生产者给0分区发送消息失败了,失败了1分区就不需要发了。

下面是站在生产者的角度去做一个事务,可以将多条消息的生产放到一个事务当中,要么同时成功,要么同时失败。

幂等性+id同时打开才行。

将100条消息的发送放到一个事务当中。消息发送是键值对,第一个参数是topic名称,第二个参数是key,第三个参数是value。

在执行的过程当中如果没有异常就可以提交事务了,如果有异常就用try catch来做,这样会导致整个事务的失败,所以需要做一个灰姑娘的操作。

可以将100次的操作放到一个事务里面,如果在执行过程中出现了异常,这个时候直接去回滚到事务的起点来完成全部的撤销。这样就可以保证到原子性。

这就是生产者端的事务配置。

相关推荐
wear工程师18 小时前
Kafka 消费者心跳正常,为什么还会被踢出组?拆清 max.poll.interval.ms
java·kafka
成为你的宁宁2 天前
【Kafka KRaft 集群】
分布式·kafka
2601_960906723 天前
地球或逃逸到相对安全的日心轨道
kafka·hbase·flume·storm
creator_Li3 天前
Kafka深入刨析-Consumer
分布式·kafka
JHC0000004 天前
基于 DrissionPage 与 Xvfb 的分布式无头爬虫架构
分布式·kafka
java1234_小锋5 天前
【免费】基于Spark实时医疗健康数据监测与疾病预测系统(Java版本+可视化大屏+Kafka+SpringBoot+Vue3) 锋哥原创出品,必属精品
大数据·spark·kafka·实时医疗健康数据监测·实时疾病预测系统
菜地里的小菜鸟6 天前
k8s部署单节点 Kafka(KRaft 模式)并启用 SASL 认证
kafka·kraft·k8s部署单节点kafkakraft模式·k8s部署kafka
Volunteer Technology6 天前
Kafka的消费全流程
分布式·kafka·linq
篮框坏了6 天前
Kafka 消费者卡死排查:一个 topic 堵了 18 小时,监控全绿没人发现
kafka