【赵渝强老师】Kafka消息的消费模式

Kafka消费者组中的消息消费模型有两种,即:推送模式(push)和拉取模式(pull)。

视频讲解如下
【赵渝强老师】Kafka消息的消费模式

一、消息的推送模式

这种消息的消费模式需要记录消费者的消费者状态。当把一条消息推送给消费者后,需要维护消息的状态。如果这条消息已经被消费将会对消息进行标记。这种方式无法很好地保证消息被处理。如果要保证消息被处理,发送完消息后需要将其状态设置为"已发送";而收到消费者的确认后才将其状态更新为"已消费",这就需要Kafka记录所有消息的消费状态,显然这种方式不可取。这种方式还存在一个明显的缺点就是消息被标记为"已消费"后,其他的消费者将不能再进行消费了。

二、消息的拉取模式

由于推送模式存在一定的缺点,因此Kafka采用了消费拉取的消费模式来消费消息。该模式由每个消费者自己维护自己的消费状态,并且每个消费者互相独立地按顺序拉取每个分区的消息。消费者通过偏移量的信息来控制从Kafka中消费的消息。如下图所示。

这种由消费者通过偏移量进行消息消费的优点在于,消费者可以按照任意的顺序消费消息。例如,消费者可以通过重置偏移量信息重新处理之前已经消费过的消息;或者直接跳转到某一个偏移量位置并开始消费。

这里需要特别说明的是,当生产者最新写入的消息如果还没有达到备份数量,即,新写入的消息还没有达到副本数要求的时候,对消费者是不可见的。

另外,消费者如果已经将消息进行了消费,Kafka并不会立即将消息进行删除,而是会将所有的消息进行保存。Kafka会将消息持久化保存到Kafka的消息日志中。不管消息有没有被消费掉,用户可以通过设置保留时间来清理过期的消息数据。

相关推荐
红队it8 分钟前
【Spark+Hive】基于Spark大数据技术小红书舆情分析可视化预测系统(完整系统源码+数据库+开发笔记+详细部署教程+虚拟机分布式启动教程)✅
大数据·hive·分布式·spark
人间打气筒(Ada)19 分钟前
分布式开源协调服务之zookeeper
运维·分布式·zookeeper
007php0071 小时前
企微审批中MySQL字段TEXT类型被截断的排查与修复实践
大数据·开发语言·数据库·后端·mysql·重构·golang
ADFVBM1 小时前
重学SpringBoot3-整合 Elasticsearch 8.x (二)使用Repository
大数据·elasticsearch·jenkins
Elastic 中国社区官方博客1 小时前
使用 Elasticsearch 进行集成测试初始化数据时的注意事项
大数据·数据库·elasticsearch·搜索引擎·集成测试·可用性测试
道法自然,人法天1 小时前
探索Elasticsearch:文档的CRUD
大数据·elasticsearch·搜索引擎
重生之绝世牛码1 小时前
Java设计模式 —— 【行为型模式】迭代器模式(Iterator Pattern)详解
java·大数据·开发语言·设计模式·迭代器模式·设计原则·设计方法
涛粒子2 小时前
分布式和微服务的理解
分布式·微服务·架构
shaodong11232 小时前
鸿蒙系统分布式文件概述、访问、拷贝
分布式·华为·harmonyos
Python数据分析与机器学习2 小时前
《基于大数据的相州镇新农村商务数据分析与研究》开题报告
大数据·人工智能·python·算法·数据挖掘·数据分析