Kafka的操作 消费者组 消费位置查看

可以去使用消费者去消费Kafka中指定主题的数据,消费者必须要包含在一个容器当中,这个容器称之为消费者组。

在之前消费者消费消息的时候并没有指定分组,每一个消费者必须在一个分组里面。可以在消费消息的时候去使用--group来指定分组。

但是如果没有指定分组,它会自动的给你创建一个分组。

可以看到存在这样一个消费者组,这就是刚刚启动的消费者所在的消费者组了。消费者在启动的时候组是一定要有的。可以使用--group去指定,如果不指定那么就会自动去创建。

可以看到这里多了一个消费者组my-group1。

消费者组就是一个容器,这个容器当中可以容纳若干个消费者,每一个消费者必须包含在某一个消费者组里面,要么组是你指定的,要么组是系统自动创建的。

注意,在删除消费者组的时候现在组里面没有正在运行的消费者,否则会删除失败。

怎么查看消费的位置?

在进行消费的时候,可以从指定的位置进行消费,使用--offset去进行指定,也可以去进行查看,看看消费到这个分区的什么位置了。

current-offset表示对于当前分区来说消费到什么位置了,log-end-offset表示这个分区中最新的offset是什么。

对于0分区来说消费到8的位置了,对于1分区来说消费到8的位置了,对于2分区来说消费到11的位置了。这样能够查看到每一个分区消费到什么位置了。

后面就是consumer的一个id信息,host信息,以及客户端的信息。这就是查看消费位置。

现在将消费者停掉,再启动一个生产者,再去写消息。

最终这些消息都是存在了某个partition当中。

和之前不一样了,0分区最新的位置是9了,因为之前生产数据了。而1分区当下消费到8的位置,最新的还是9,lag就是一个偏移量了。

这就是去查看一个分组当中的消费详情,当然上面只有一个test的主题,如果有多个主题,也都会在这里面给列出来。

相关推荐
此时不提桶,更待何时1 小时前
06-18-A-RabbitMQ消息特性与消费机制详解
分布式·rabbitmq
闻哥2 小时前
分布式任务调度框架:XXL-Job / ElasticJob / DolphinScheduler / SchedulerX 架构对比与选型
分布式·架构·wpf
笔墨登场说说3 小时前
centos 8 使用 kafka_2.13-4.3.1.tgz 安装kafka
linux·kafka·centos
明月无心照西山3 小时前
分布式任务系统的监控告警分级与自愈设计——以帮帮星球为例
分布式
guo_wen_qiang3 小时前
kafka一直restarting,报错InconsistentClusterIdException
分布式·kafka
实战派K8S&DB3 小时前
TDSQL 核心模块与进程体系
运维·数据库·分布式·sql·mysql
仍然.4 小时前
Redis---分布式锁
数据库·redis·分布式
小小龙学IT4 小时前
etcd 深度解析:Go 分布式一致性 KV 存储与 Raft 共识实战
分布式·golang·etcd
今年下半年4 小时前
【消息队列】Spring Boot 集成 Kafka 消息队列:确保消费完成(手动提交偏移量+幂等判断+失败重试机制)
spring boot·kafka·幂等·失败重试
小师兄吃牛肉12 小时前
Java 同步系列之 ZooKeeper 分布式锁
java·分布式·java-zookeeper