Kafka的操作 消费者组 消费位置查看

可以去使用消费者去消费Kafka中指定主题的数据,消费者必须要包含在一个容器当中,这个容器称之为消费者组。

在之前消费者消费消息的时候并没有指定分组,每一个消费者必须在一个分组里面。可以在消费消息的时候去使用--group来指定分组。

但是如果没有指定分组,它会自动的给你创建一个分组。

可以看到存在这样一个消费者组,这就是刚刚启动的消费者所在的消费者组了。消费者在启动的时候组是一定要有的。可以使用--group去指定,如果不指定那么就会自动去创建。

可以看到这里多了一个消费者组my-group1。

消费者组就是一个容器,这个容器当中可以容纳若干个消费者,每一个消费者必须包含在某一个消费者组里面,要么组是你指定的,要么组是系统自动创建的。

注意,在删除消费者组的时候现在组里面没有正在运行的消费者,否则会删除失败。

怎么查看消费的位置?

在进行消费的时候,可以从指定的位置进行消费,使用--offset去进行指定,也可以去进行查看,看看消费到这个分区的什么位置了。

current-offset表示对于当前分区来说消费到什么位置了,log-end-offset表示这个分区中最新的offset是什么。

对于0分区来说消费到8的位置了,对于1分区来说消费到8的位置了,对于2分区来说消费到11的位置了。这样能够查看到每一个分区消费到什么位置了。

后面就是consumer的一个id信息,host信息,以及客户端的信息。这就是查看消费位置。

现在将消费者停掉,再启动一个生产者,再去写消息。

最终这些消息都是存在了某个partition当中。

和之前不一样了,0分区最新的位置是9了,因为之前生产数据了。而1分区当下消费到8的位置,最新的还是9,lag就是一个偏移量了。

这就是去查看一个分组当中的消费详情,当然上面只有一个test的主题,如果有多个主题,也都会在这里面给列出来。

相关推荐
96245641 分钟前
补打一条卡,为什么要从前一天重新算:人工补录与实时重算业务复盘
java·mysql·kafka
贾伟康1 小时前
【共创稿事节】HarmonyOS 7.0 HiTraceChain分布式调用链:从接入到生产验证
分布式·harmonyos·可观测性·调用链·hitracechain
RobinXYuan1 天前
【Kafka 源码手记】05 Broker 网络层与请求处理(中):Processor 事件循环与线上的字节
kafka·源码阅读
NiceZack1 天前
Hadoop 部署全流程教程:从新装 CentOS 到伪分布式与完全分布式
hadoop·分布式·centos
傻啦嘿哟1 天前
分布式爬虫架构:Redis+Scrapy打造企业级爬虫系统
分布式·爬虫·架构
坐吃山猪1 天前
Kafka13-自定义分区器
kafka
starzy19901 天前
Kafka请求进门口:Processor是怎么把请求读上来的
分布式·kafka
骑着蜗牛撵大象3272 天前
558 万美元训出 671B 模型:DeepSeek-V3 算法与系统的协同拆解
分布式·算法·moe·deepseek-v3·mla·fp8训练
德迅云安全-上官2 天前
德迅游戏盾:面向 TCP 业务的分布式云安全防护方案
分布式·tcp/ip·游戏
麻瓜code2 天前
分布式锁演进:从一个用户下两单,到 Redisson,我改了四版
分布式·wpf