Kafka的操作 消费者组 消费位置查看

可以去使用消费者去消费Kafka中指定主题的数据,消费者必须要包含在一个容器当中,这个容器称之为消费者组。

在之前消费者消费消息的时候并没有指定分组,每一个消费者必须在一个分组里面。可以在消费消息的时候去使用--group来指定分组。

但是如果没有指定分组,它会自动的给你创建一个分组。

可以看到存在这样一个消费者组,这就是刚刚启动的消费者所在的消费者组了。消费者在启动的时候组是一定要有的。可以使用--group去指定,如果不指定那么就会自动去创建。

可以看到这里多了一个消费者组my-group1。

消费者组就是一个容器,这个容器当中可以容纳若干个消费者,每一个消费者必须包含在某一个消费者组里面,要么组是你指定的,要么组是系统自动创建的。

注意,在删除消费者组的时候现在组里面没有正在运行的消费者,否则会删除失败。

怎么查看消费的位置?

在进行消费的时候,可以从指定的位置进行消费,使用--offset去进行指定,也可以去进行查看,看看消费到这个分区的什么位置了。

current-offset表示对于当前分区来说消费到什么位置了,log-end-offset表示这个分区中最新的offset是什么。

对于0分区来说消费到8的位置了,对于1分区来说消费到8的位置了,对于2分区来说消费到11的位置了。这样能够查看到每一个分区消费到什么位置了。

后面就是consumer的一个id信息,host信息,以及客户端的信息。这就是查看消费位置。

现在将消费者停掉,再启动一个生产者,再去写消息。

最终这些消息都是存在了某个partition当中。

和之前不一样了,0分区最新的位置是9了,因为之前生产数据了。而1分区当下消费到8的位置,最新的还是9,lag就是一个偏移量了。

这就是去查看一个分组当中的消费详情,当然上面只有一个test的主题,如果有多个主题,也都会在这里面给列出来。

相关推荐
运维行者_1 小时前
如何查看每个IP的带宽使用情况?NetFlow 技术实战指南
开发语言·网络·分布式·后端·架构·带宽
翔云1234563 小时前
Kafka 使用场景
kafka
霸道流氓气质4 小时前
Kiro 中配置 RabbitMQ MCP Server 指南
分布式·rabbitmq·ruby
国科安芯4 小时前
AS32S601型抗辐射MCU在分布式太空算力架构中的技术演进与应用前景
人工智能·分布式·单片机·嵌入式硬件·架构·边缘计算
不会C语言的菜鸟5 小时前
分布式数据一致性:从工程实践到理论基石
分布式
Leo.yuan18 小时前
数据仓库建设怎么做?从源数据到分析报表全流程讲清
大数据·分布式·spark
明豆1 天前
Redis 分布式缓存生产实战
redis·分布式·缓存
阿标在干嘛1 天前
从单机到分布式:政策快报爬虫系统的三次重构
分布式·爬虫·重构
笨鸟先飞的橘猫1 天前
游戏后端分布式学习——开篇
分布式·学习·游戏