Kafka的操作 消费者组 消费位置查看

可以去使用消费者去消费Kafka中指定主题的数据,消费者必须要包含在一个容器当中,这个容器称之为消费者组。

在之前消费者消费消息的时候并没有指定分组,每一个消费者必须在一个分组里面。可以在消费消息的时候去使用--group来指定分组。

但是如果没有指定分组,它会自动的给你创建一个分组。

可以看到存在这样一个消费者组,这就是刚刚启动的消费者所在的消费者组了。消费者在启动的时候组是一定要有的。可以使用--group去指定,如果不指定那么就会自动去创建。

可以看到这里多了一个消费者组my-group1。

消费者组就是一个容器,这个容器当中可以容纳若干个消费者,每一个消费者必须包含在某一个消费者组里面,要么组是你指定的,要么组是系统自动创建的。

注意,在删除消费者组的时候现在组里面没有正在运行的消费者,否则会删除失败。

怎么查看消费的位置?

在进行消费的时候,可以从指定的位置进行消费,使用--offset去进行指定,也可以去进行查看,看看消费到这个分区的什么位置了。

current-offset表示对于当前分区来说消费到什么位置了,log-end-offset表示这个分区中最新的offset是什么。

对于0分区来说消费到8的位置了,对于1分区来说消费到8的位置了,对于2分区来说消费到11的位置了。这样能够查看到每一个分区消费到什么位置了。

后面就是consumer的一个id信息,host信息,以及客户端的信息。这就是查看消费位置。

现在将消费者停掉,再启动一个生产者,再去写消息。

最终这些消息都是存在了某个partition当中。

和之前不一样了,0分区最新的位置是9了,因为之前生产数据了。而1分区当下消费到8的位置,最新的还是9,lag就是一个偏移量了。

这就是去查看一个分组当中的消费详情,当然上面只有一个test的主题,如果有多个主题,也都会在这里面给列出来。

相关推荐
pnoker18 小时前
IoT DC3 消息总线:六适配器可插拔设计
物联网·架构·kafka·消息队列·rabbitmq
cxhello20 小时前
消费者活着、心跳正常、日志干净,但它七天没拉过一条消息
python·kafka
Lost of 程序猿1 天前
ASP.NET Core Saga 分布式事务深度实战:备件采购跨服务长流程,如何保证“要么全成,要么全回“
分布式·后端·asp.net
XiYang-DING1 天前
地图城市缓存优化:ApplicationReadyEvent + Caffeine + Redis + Redisson 分布式锁
redis·分布式·缓存
2601_962175661 天前
RabbitMQ 的工作模式
分布式·rabbitmq
头茬韭菜1 天前
图解 Fluss(四):分布式协调 —— 选举、副本状态机与
分布式·fluss
2601_962218612 天前
万象生鲜系统全链路溯源一码查询技术实现食材来源可查
分布式·微服务·云原生·架构
Dreams_l2 天前
RabbitMQ介绍及其工作模式
分布式·rabbitmq
2601_962218612 天前
万象生鲜系统大数据采购预测算法降低库存积压稳居第一
分布式·微服务·云原生·架构
程序员夏洛2 天前
Redis 中如何实现分布式锁?
数据库·redis·分布式