kafka常用命令 - 技术栈

https://github.com/xxd763795151/kafka-console-ui

查看主题

bash 复制代码

kafka-topics.sh --list --bootstrap-server 10.1.1.2:9092

创建主题

bash 复制代码

kafka-topics.sh --bootstrap-server 10.1.1.2:9092 --create --topic mytopic --partitions 1
kafka-topics.sh --bootstrap-server 10.0.0.31:9092 --create --topic test1 --config retention.ms=3600000 --replication-factor 2 --partitions 3

查看消费者列表--list

bash 复制代码

./kafka-consumer-groups.sh --bootstrap-server 10.1.1.2:9092 --list

查看消费者组详情--describe ，查看指定消费组详情--group

bash 复制代码

kafka-consumer-groups.sh --command-config /data/soft/kafka/config/kafka_client_jaas.conf --bootstrap-server 10.1.1.2:9092 --describe --group groupname
kafka-consumer-groups.sh --command-config /data/soft/kafka/config/kafka_client_jaas.conf --bootstrap-server 10.1.1.2:9092 --state --describe --group groupname

查看所有消费组详情--all-groups

bash 复制代码

./kafka-consumer-groups.sh --bootstrap-server 10.1.1.2:9092 --describe --all-groups

查询消费者成员信息--members 所有消费组成员信息

bash 复制代码

./kafka-consumer-groups.sh --describe --all-groups --members --bootstrap-server 10.1.1.2:9092

指定消费组成员信息

bash 复制代码

./kafka-consumer-groups.sh --describe --members --group defaultConsumerGroup --bootstrap-server 10.1.1.2:9092

重置位移位置

重置消费组位移会导致消费者重新分配分区

https://blog.csdn.net/u010003835/article/details/83314766

bash 复制代码

kafka-consumer-groups.sh --bootstrap-server 10.1.1.2:9092 --group groupName  --topic mytopic  --reset-offsets  --to-latest --execute
kafka-consumer-groups.sh --bootstrap-server 10.1.1.2:9092 --group groupName  --topic mytopic  --reset-offsets  --to-earliest --execute
kafka-consumer-groups.sh --bootstrap-server 10.1.1.2:9092 --group groupName  --topic mytopic  --reset-offsets  --to-offset 100 --execute
kafka-consumer-groups.sh --bootstrap-server 10.1.1.2:9092 --group groupName  --topic mytopic  --reset-offsets  --to-datetime 2024-07-24T06:50:00.000 --execute

重设位移有几种选项:

bash 复制代码

--to-earliest： 设置到最早位移处，也就是0 
--to-latest： 设置到最新处，也就是主题分区HW的位置 
--to-offset NUM： 指定具体的位移位置 
--shift-by NUM： 基于当前位移向前回退多少 
--by-duration： 回退到多长时间

消费组参数说明:

bash 复制代码

CURRENT-OFFSET： 当前消费者位移 
LOG-END-OFFSET： 分区最新位移 
LAG： LOG-END-OFFSET减去CURRENT-OFFSET的值，表示积压量 
CONSUMER-ID： 是Kafka自己生成的 
CLIENT-ID： 是消费者代码里写的CLIENT ID，用于区分同消费者组中的不同客户端

删除指定topic与数据

bash 复制代码

./kafka-topics.sh --bootstrap-server 10.1.1.2:9092 --delete --topic inventory_topic

立即删除某个topic下的数据

bash 复制代码

./kafka-topics.sh --zookeeper localhost:2181 --alter --topic mytopic --config cleanup.policy=delete

动态配置

全局设置

ini 复制代码

修改 server.properties，如下的值： 
log.retention.hours=72
log.cleanup.policy=delete

单独对某一个topic设置过期时间,但如果只有某一个topic数据量过大,想单独对这个topic的过期时间设置短点：

bash 复制代码

./kafka-configs.sh --zookeeper localhost:2181 --alter --entity-name mytopic --entity-type topics --add-config retention.ms=86400000
 #  retention.ms=86400000 为一天，单位是毫秒

查看设置：

bash 复制代码

./kafka-configs.sh --zookeeper localhost:2181 --describe --entity-name mytopic --entity-type topics
 Configs for topics:wordcounttopic are retention.ms=86400000