【备忘录】kafka常用命令维护

kafka指令备忘录

单个Topic扩容

sh bin/kafka-topics.sh --bootstrap-server broker_host:port --alter --topic test_create_topic1 --partitions 4
批量扩容

将所有正则表达式匹配到的Topic分区扩容到4个

sh bin/kafka-topics.sh --topic ".*?" --bootstrap-server 172.23.248.85:9092 --alter --partitions 4
查询单个Topic

sh bin/kafka-topics.sh --topic test --bootstrap-server xxxx:9092 --describe --exclude-internal
批量查询Topic

sh bin/kafka-topics.sh --topic ".*?" --bootstrap-server xxxx:9092 --describe --exclude-internal
查询所有Topic列表

sh bin/kafka-topics.sh --bootstrap-server xxxxxx:9092 --list --exclude-internal
查询匹配Topic列表(正则表达式)

查询test_create_开头的所有Topic列表

sh bin/kafka-topics.sh --bootstrap-server xxxxxx:9092 --list --exclude-internal --topic "test_create_.*"
查询单个Topic配置(只列举动态配置)

sh bin/kafka-configs.sh --describe --bootstrap-server xxxxx:9092 --topic test_create_topic 或者 sh bin/kafka-configs.sh --describe --bootstrap-server 172.23.248.85:9092 --entity-type topics --entity-name test_create_topic
查询所有Topic配置(包括内部Topic)(只列举动态配置)

sh bin/kafka-configs.sh --describe --bootstrap-server 172.23.248.85:9092 --entity-type topics
查询kafka版本信息

sh bin/kafka-configs.sh --describe --bootstrap-server xxxx:9092 --version
opic添加/修改动态配置

--add-config

sh bin/kafka-configs.sh --bootstrap-server xxxxx:9092 --alter --entity-type topics --entity-name test_create_topic1 --add-config file.delete.delay.ms=222222,retention.ms=999999

--delete-config

sh bin/kafka-configs.sh --bootstrap-server xxxxx:9092 --alter --entity-type topics --entity-name test_create_topic1 --delete-config file.delete.delay.ms,retention.ms
添加/删除配置同时执行

sh bin/kafka-configs.sh --bootstrap-server xxxxx:9092 --alter --entity-type brokers --entity-default --add-config log.segment.bytes=788888888 --delete-config log.retention.ms
配置默认

--entity-default

sh bin/kafka-configs.sh --bootstrap-server xxxxx:9090 --alter --entity-type brokers --entity-default --add-config log.segment.bytes=88888888
生产无key消息

bin/kafka-console-producer.sh --bootstrap-server localhost:9092 --topic test --producer.config config/producer.properties
生产有key消息加上属性

--property parse.key=true

bin/kafka-console-producer.sh --bootstrap-server localhost:9092 --topic test --producer.config config/producer.properties --property parse.key=true
新客户端从头消费

--from-beginning

sh bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic test --from-beginning
正则表达式匹配topic进行消费

--whitelist

消费所有的topic

sh bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --whitelist '.*'
消费所有的topic

sh bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --whitelist '.*' --from-beginning
消费指定topic并显示key

--property print.key=true

sh bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic test --property print.key=true
指定分区消费

--partition

指定起始偏移量消费--offset

sh bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic test --partition 0 --offset 100
给客户端命名

--group

sh bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic test --group test-group
添加客户端属性

--consumer.config

跟--consumer-property 一样的性质,都是添加客户端的属性,--consumer-property 的优先级大于 --consumer.config

sh bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic test --consumer.config config/consumer.properties

相关推荐
龙腾AI白云32 分钟前
具身智能的空间导航与未知环境探索
大数据·数据库·人工智能·机器学习·知识图谱
用户36105886261240 分钟前
KafkaProducer 源码深度剖析:筛选可以发送消息的 Broker
kafka
ClouGence41 分钟前
DBeaver太重,Navicat付费?试试这4款好用的开源数据库管理工具!
数据库·开源
字节跳动数据库1 小时前
火山引擎缓存数据库:如何构建超大规模缓存集群的无感弹性能力
数据库·人工智能·后端
SelectDB1 小时前
多模态检索用什么数据库?向量、全文与 SQL 混合检索选型指南
数据库
旋风菠萝3 小时前
HashMap和CurrentHashMap的key可以为空吗
java·数据库·redis
隔窗听雨眠4 小时前
数据管理系统弹性调度的资源模型与实战路径
数据库·分布式系统·弹性调度
西木Qi4 小时前
Kafka消息中间件单机版安装配置
分布式·kafka
Nturmoils4 小时前
数据库选型 POC:订单系统怎么验收候选
数据库
CoderYanger6 小时前
Java EE 进阶:9.MyBatis 操作数据库(进阶)(第一弹)
java·数据库·spring·面试·java-ee·tomcat·mybatis