Kafka - Topic 消费状态常用命令

新建 Topic

bash 复制代码
./kafka-topics --zookeeper 166.188.xx.xx --create --topic flink_source --partitions 1 --replication-factor 1
  • replication-factor:指定副本数量

  • partitions:指定分区

删除 Topic

bash 复制代码
./kafka-topics --zookeeper 166.188.xx.xx --delete --topic flink_source

查看所有 Topic

bash 复制代码
./kafka-topics --zookeeper 166.188.xx.xx --list

查看指定 Topic 详情

bash 复制代码
./kafka-topics --zookeeper 166.188.xx.xx --topic flink_source --describe

查看 consumer group 列表

查看consumer group列表有新、旧两种命令,分别查看新版(信息保存在broker中)consumer列表和老版(信息保存在zookeeper中)consumer列表,因而需要区分指定bootstrap--server和zookeeper参数

bash 复制代码
./kafka-consumer-groups --new-consumer --bootstrap-server 166.188.xx.xx:9092 --list
bash 复制代码
./kafka-consumer-groups --zookeeper 166.188.20.32:2181 --list

查看指定 consumer group 详情

bash 复制代码
./kafka-consumer-groups --new-consumer --bootstrap-server 166.188.xx.xx:9092 --group logstash --describe
bash 复制代码
./kafka-consumer-groups --zookeeper 166.188.xx.xx:2181 --group console-consumer-12278 --describe

这里同样需要根据新、旧版本的consumer,分别指定bootstrap-server与zookeeper参数。其中依次展示group名称、消费的topic名称、partition id、consumer group最后一次提交的offset、最后提交的生产消息offset、消费offset与生产offset之间的差值、当前消费topic-partition的group成员id(不一定包含hostname)

补充知识

消费组列名解读

  • **TOPIC:**消费者的topic名称
  • **PARTITION:**分区数的名称
  • **CURRENT-OFFSET:**consumer group最后一次提交的offset
  • **LOG-END-OFFSET:**最后提交的生产消息offset
  • **LAG:**消费offset与生产offset之间的差值
  • **CONSUMER-ID:**消费者的ID编号,消费者组里面最少要有一个消费者,当然也可以有多个消费者
  • **HOST:**消费者的主机IP地址
  • **CLIENT-ID:**链接的ID编号

关于 offset

kafka有个常用的设置是 auto.offset.reset ,该属性指定了消费者在读取一个没有偏移量的分区或者偏移量无效的情况下(因消费者长时间失效,包含偏移量的记录已经过时井被删除)该作何处理。

它的默认值是 latest,意思是说,在偏移量无效的情况下,消费者将从最新的记录开始读取数据(在消费者启动之后生成的记录)。另一个值是 earliest ,意思是说,在偏移量无效的情况下,消费者将从起始位置读取分区的记录。

该属性有以下几个值:

  • **earliest:**当各分区下有已提交的offset时,从提交的offset开始消费;无提交的offset时,从头开始消费
  • **latest:**当各分区下有已提交的offset时,从提交的offset开始消费;无提交的offset时,消费新产生的该分区下的数据
  • **none:**topic各分区都存在已提交的offset时,从offset后开始消费;只要有一个分区不存在已提交的offset,则抛出异常

这个设置只有当我们的消费者(或者消费者群组)在分区内找不到有效的offset时才会生效

相关推荐
zhixingheyi_tian1 小时前
Spark 之 Aggregate
大数据·分布式·spark
KevinAha3 小时前
Kafka 3.5 源码导读
kafka
求积分不加C3 小时前
-bash: ./kafka-topics.sh: No such file or directory--解决方案
分布式·kafka
nathan05293 小时前
javaer快速上手kafka
分布式·kafka
激流丶6 小时前
【Kafka 实战】Kafka 如何保证消息的顺序性?
java·后端·kafka
谭震鸿6 小时前
Zookeeper集群搭建Centos环境下
分布式·zookeeper·centos
天冬忘忧11 小时前
Kafka 工作流程解析:从 Broker 工作原理、节点的服役、退役、副本的生成到数据存储与读写优化
大数据·分布式·kafka
工业甲酰苯胺14 小时前
Python脚本消费多个Kafka topic
开发语言·python·kafka
B站计算机毕业设计超人15 小时前
计算机毕业设计SparkStreaming+Kafka新能源汽车推荐系统 汽车数据分析可视化大屏 新能源汽车推荐系统 汽车爬虫 汽车大数据 机器学习
数据仓库·爬虫·python·数据分析·kafka·数据可视化·推荐算法
IT枫斗者16 小时前
如何解决Java EasyExcel 导出报内存溢出
java·服务器·开发语言·网络·分布式·物联网