kafka-事务

1. 事务的5个API

java 复制代码
// 1初始化事务
void initTransactions();

// 2开启事务
void beginTransaction() throws ProducerFencedException;

// 3在事务内提交已经消费的偏移量(主要用于消费者)
void sendOffsetsToTransaction(Map<TopicPartition, OffsetAndMetadata> offsets,
                              String consumerGroupId) throws ProducerFencedException;

// 4提交事务
void commitTransaction() throws ProducerFencedException;

// 5放弃事务(类似于回滚事务的操作)
void abortTransaction() throws ProducerFencedException;

2. 幂等性和事务性的关系

事务属性实现前提是幂等性,即在配置事务属性transaction id时,必须还得配置幂等性;但是幂等性是可以独立使用的,不需要依赖事务属性。

  1. 幂等性引入了Porducer ID
  2. 事务属性引入了Transaction Id属性。

使用场景

  1. enable.idempotence = true,transactional.id不设置:只支持幂等性。
  2. enable.idempotence = true,transactional.id设置:支持事务属性和幂等性
  3. enable.idempotence = false,transactional.id不设置:没有事务属性和幂等性的kafka
  4. enable.idempotence = false,transactional.id设置:无法获取到PID,此时会报错

3. 参考

kafka幂等生产者及事务_51CTO博客_kafka事务

相关推荐
小马爱打代码19 小时前
Kafka 偏移量(Offset):消费者如何记住消费位置?
分布式·kafka
码农水水20 小时前
美团Java后端Java面试被问:Kafka的零拷贝技术和PageCache优化
java·开发语言·后端·缓存·面试·kafka·状态模式
冰块的旅行21 小时前
Docker Compose一键部署Kafka与Kafka-UI可视化管理面板
docker·kafka
yumgpkpm1 天前
Cloudera CDH5、CDH6、CDP7现状及替代方案
数据库·人工智能·hive·hadoop·elasticsearch·数据挖掘·kafka
火龙果研究院1 天前
利用docker和docker-compose部署单机kafka
docker·容器·kafka
迪迦不喝可乐1 天前
Kafka
分布式·kafka
2501_941882482 天前
互联网分布式系统中的性能优化工程实践与多语言示例随笔分享
kafka·rabbitmq
零度@2 天前
Java消息中间件-Kafka全解(2026精简版)
java·kafka·c#·linq
2501_941871452 天前
从接口限流到全链路流控的互联网工程语法构建与多语言实践分享
kafka·rabbitmq
indexsunny2 天前
Java互联网大厂面试实战:Spring Boot、微服务与Kafka在电商场景中的应用
java·spring boot·微服务·kafka·消息队列·电商·数据库事务