kafka-事务

1. 事务的5个API

java 复制代码
// 1初始化事务
void initTransactions();

// 2开启事务
void beginTransaction() throws ProducerFencedException;

// 3在事务内提交已经消费的偏移量(主要用于消费者)
void sendOffsetsToTransaction(Map<TopicPartition, OffsetAndMetadata> offsets,
                              String consumerGroupId) throws ProducerFencedException;

// 4提交事务
void commitTransaction() throws ProducerFencedException;

// 5放弃事务(类似于回滚事务的操作)
void abortTransaction() throws ProducerFencedException;

2. 幂等性和事务性的关系

事务属性实现前提是幂等性,即在配置事务属性transaction id时,必须还得配置幂等性;但是幂等性是可以独立使用的,不需要依赖事务属性。

  1. 幂等性引入了Porducer ID
  2. 事务属性引入了Transaction Id属性。

使用场景

  1. enable.idempotence = true,transactional.id不设置:只支持幂等性。
  2. enable.idempotence = true,transactional.id设置:支持事务属性和幂等性
  3. enable.idempotence = false,transactional.id不设置:没有事务属性和幂等性的kafka
  4. enable.idempotence = false,transactional.id设置:无法获取到PID,此时会报错

3. 参考

kafka幂等生产者及事务_51CTO博客_kafka事务

相关推荐
百锦再14 小时前
Java的TCP和UDP实现详解
java·spring boot·tcp/ip·struts·spring cloud·udp·kafka
indexsunny19 小时前
互联网大厂Java面试实战:Spring Boot与微服务在电商场景的应用
java·spring boot·微服务·面试·kafka·prometheus·电商
百锦再19 小时前
Spring Boot Web 后端开发注解核心
开发语言·spring boot·python·struts·spring cloud·kafka·maven
飞火流星0202719 小时前
验证kafka队列中的数据是否是被压缩后的数据
分布式·kafka·验证kafka队列中的数据格式·验证kafka数据压缩·验证kafka数据是否已被压缩
小程故事多_8020 小时前
详解Kafka重平衡与分区重分配,核心差异、原理及实操辨析
分布式·kafka·linq
飞火流星0202720 小时前
kafka设置数据压缩的方式及作用
分布式·kafka·kafka数据压缩·kafka压缩配置级别·kafka数里压缩配置作用·kafka数据压缩配置级别
予枫的编程笔记20 小时前
【Kafka进阶篇】深入Kafka内部:日志存储的设计思路,藏着中间件高性能的真相
kafka·消息中间件·分布式系统·kafka底层原理·kafka日志存储·kafka索引机制·java中间件
百锦再1 天前
Java中的反射机制详解:从原理到实践的全面剖析
java·开发语言·jvm·spring boot·struts·spring cloud·kafka
十月南城2 天前
Kafka生态深化——Schema与Connect、CDC入湖的链路与一致性挑战
分布式·kafka
予枫的编程笔记2 天前
【Kafka基础篇】Kafka Consumer Group设计哲学拆解:为什么它能支撑高并发消费?
kafka·消息队列·consumer消费机制·consumer group·offset提交·pull模型·大数据实战