kafka-保证数据不重复-生产者开启幂等性和事务的作用？

1. 生产者开启幂等性为什么能去重？

1.1 场景

适用于消息在写入到服务器日志后，由于网络故障，生产者没有及时收到服务端的ACK消息，生产者误以为消息没有持久化到服务端，导致生产者重复发送该消息，造成了消息的重复现象，而幂等性就是为了解决该问题。

1.2 去重原理

通过3个值的唯一性去重：

1. PID：生产者ID
2. 分区号
3. seq：单调递增

2. 生产者开启事务为什么能去重？

2.1 场景

当数据发送到broker时，失败了，导致ack没有应答成功，如果没有开启事务，那么这条数据可能只落在了leader的磁盘上，没有落在flower的磁盘上，此时会进行重试，再把数据发送一遍，那么leader的数据就重复了。

2.2 去重原理

如果开启事务那就会有原子性，数据要么写成功落盘，要么写失败回滚。

当数据发送到broker时，失败了，导致ack应答失败，这条数据可能只落在了leader的磁盘上，没有落在flower的磁盘上，如果开启了事务，那么会进行回滚，将leader的数据回滚，然后会进行重试，再把数据发送一遍，就解决了重复问题。