Kafka-消息不丢失

1. 生产者发送消息到Brocker时丢失

解决方案：

① 设置异步发送消息

② 设置消息重试

2. 消息在Brocker中存储丢失

解决方案： 设置发送送确认机制acks

|------------|-------------------------------------------|
| 确认机制 | 说明 |
| acks=0 | 生产者在成功写入消息之前不会等待任何来自服务器的响应，消息有丢失的风险，但是速度快 |
| acks=1（默认） | 只要集群首领节点收到消息，生产者就会收到一个来自服务器的成功响应 |
| acks=all | 只有当所有参与赋值的节点全部收到消息时，生产者才会收到一个来自服务器的成功响应 |

3. 消费者从Brocker接收消息丢失

Kafka中的分区机制指的是将每隔主题划分成多个分区（Partition）。

topic分区中消息只能由消费者组中的唯一一个消费者处理，不同的分区分配给同组内的不同的消费者。

消费者默认是自动按期提交已经消费的偏移量，默认是每隔5s提交一次。如果出现重平衡现象，可能出现重复消费或丢失数据。重平衡：某一个消费者服务宕机，但是其实际消费的消息和已经提交的偏移量不一致。

解决方案：禁用自动提交偏移量，改为手动。可以同步提交、异步提交、同步异步配合使用。