kafka的消息交付语义真的支持了最少一次吗？

在读完kafka官方文档，kafka设计里的消息交付语义一章后，给我的第一印象是内容很抽象，于是草拟和总结了给个副标题，并把相关内容进行了归类；有些生涩的句子，尽量用大白话和举例进行说明，并加入了总结。英文链接： kafka.apache.org/documentati...

消息交付，即消息在生产端，broker端，消费者端的传递保证。

最多一次 ------消息可能会丢失，但永远不会重新传送。
至少一次 ------消息永远不会丢失，但可以重新传送。
恰好一次------这就是人们真正想要的，每条消息都传递一次且仅一次。

根据英文文档，进行了总结

#######################以下为个人观点###########################

我的回答是：不同的条件下，可能支持了，也可能没支持。

生产端：

kafka生产端在发送消息时，如果遇到底层网络问题，可能会导致消息发送给了broker端，也有可能网络闪断或者丢包，发送的消息可能丢了；但最后的结果是，生产端会根据指定的参数retries，进行一定次数的重试。以此来保证生产端，做到消息至少传递一次。即发送失败了，就重试吧。

所以生产端支持"最少一次"的前提条件有如下：

消费者端：

消费者端保证消息至少被消费一次的建议是：在消费者端消费完消息后，在手工提交offset；伪代码如下：

bash 复制代码

while(true){ 
consumer.poll(); #①拉取消息  
XXX #②处理消息；  
consumer.commit();
}

具体原因和说明见：juejin.cn/post/729328...

broker端：

broker端，要实现此交付，主要是保证消息不丢。kafka 数据是具备高可靠的，但不代表你的kafka集群就具备了此功能。需要有如下配置：

第一：生产端参数 ack 设置为all

第二：在broker端配置 min.insync.replicas参数设置至少为2

第三：在broker端配置 replicator.factor参数至少3

第四：在broker端配置 unclean.leader.election.enable 参数建议设置为false

具体原因和说明见：juejin.cn/post/729328...

消费者端和broker端，可以根据配置和对应代码编写顺序进行解决；但生产端在进行重试时，还需依赖生产端应用的稳定性，底层网络和broker端的可用性；

生产端之所以需要这三个条件的支持，还是生产端没有把待发送消息进行持久化，毕竟待发送的消息是保存在jvm内存中的，jvm重启或者OOM或者宕机了，内存中的消息也就丢了；

如果把待发送的消息进行了持久化，即使应用宕机，网络失败，broker不可用，但在经过应用重启，网络和broker恢复，也可以保证待发送消息不丢失，做到消息的至少一次交付。

具体解决方法可参考：juejin.cn/post/729328...

kafka的消息交付语义 真的支持了最少一次吗？