【Kafka基础】topics命令行操作大全:高级命令解析(2)

1 强制删除主题

复制代码
/export/home/kafka_zk/kafka_2.13-2.7.1/bin/kafka-topics.sh --delete \
    --zookeeper 192.168.10.33:2181 \
    --topic mytopic \
    --if-exists

参数说明

  • --zookeeper:直接连接Zookeeper删除(旧版本方式)
  • --if-exists:仅当主题存在时执行

2 查看主题的消息时间戳

复制代码
/export/home/kafka_zk/kafka_2.13-2.7.1/bin/kafka-dump-log.sh --files /export/home/kafka_zk/kafka_2.13-2.7.1/logs/my-topic-0/00000000000000000000.log \
    --print-data-log \
    --value-decoder-class "kafka.serializer.StringDecoder"

参数说明

  • --files:指定日志文件路径
  • --print-data-log:打印消息内容
  • --value-decoder-class:指定解码器

3 创建ACL控制的主题

复制代码
/export/home/kafka_zk/kafka_2.13-2.7.1/bin/kafka-acls.sh --add \
    --allow-principal User:Producer1 \
    --operation Write \
    --topic my-secure-topic \
    --bootstrap-server 192.168.10.33:9092

参数说明

  • --allow-principal:允许的用户
  • --operation:允许的操作(Write/Read/Create等)
  • --topic:应用ACL的主题

4 查看主题的生产者/消费者吞吐量

复制代码
/export/home/kafka_zk/kafka_2.13-2.7.1/bin/kafka-producer-perf-test.sh --topic my-topic \
    --num-records 100000 \
    --record-size 1000 \
    --throughput 2000 \
    --producer-props bootstrap.servers=192.168.10.33:9092

参数说明

  • --num-records:要发送的消息数量
  • --record-size:每条消息的大小(字节)
  • --throughput:目标吞吐量(消息/秒)

5 增加副本因子

复制代码
/export/home/kafka_zk/kafka_2.13-2.7.1/bin/kafka-reassign-partitions.sh \
    --bootstrap-server 192.168.10.33:9092 \
    --reassignment-json-file increase-replication-factor.json \
    --execute

参数说明:

  • --reassignment-json-file:指定分区重新分配的 JSON 配置文件路径
  • --execute:执行模式,实际触发分区重新分配操作

6 导出主题数据

复制代码
/export/home/kafka_zk/kafka_2.13-2.7.1/bin/kafka-console-consumer.sh \
    --bootstrap-server 192.168.10.33:9092 \
    --topic my-topic \
    --from-beginning \
    --timeout-ms 1000 \
    --max-messages 10

参数说明:

  • --from-beginning:从该主题最早的消息开始消费(如果不指定,则默认从最新消息开始)
  • --timeout-ms 1000:设置消费者等待消息的超时时间(毫秒),这里设置为1秒
  • --max-messages 10:限制最多消费10条消息后自动退出

7 性能测试

7.1 生产端

复制代码
/export/home/kafka_zk/kafka_2.13-2.7.1/bin/kafka-producer-perf-test.sh \
    --topic perf-test \
    --num-records 1000000 \
    --record-size 1000 \
    --throughput -1 \
    --producer-props bootstrap.servers=192.168.10.33:9092

7.2 消费端

复制代码
/export/home/kafka_zk/kafka_2.13-2.7.1/bin/kafka-consumer-perf-test.sh \
    --topic perf-test \
    --bootstrap-server 192.168.10.33:9092 \
    --messages 1000000
相关推荐
爱三盖浇饭4 小时前
挑战从零开始学习Kafka2: Kafka 常见问题解决方案
学习·kafka
山鬼龙王17 小时前
吃透 Kafka:一篇讲清楚核心原理和高频考点
kafka
pnoker3 天前
IoT DC3 消息总线:六适配器可插拔设计
物联网·架构·kafka·消息队列·rabbitmq
cxhello3 天前
消费者活着、心跳正常、日志干净,但它七天没拉过一条消息
python·kafka
2601_962064704 天前
SpringBoot 整合 Avro 与 Kafka
spring boot·kafka·linq
HashFlag4 天前
本地极简安装kafka
kafka
ZCBUS实时计算5 天前
信创混合存储架构落地实战|基于 ZCBUS 实时计算构建证券高可用实时风控数仓
大数据·架构·flink·kafka·dba
Sayai5 天前
Kafka 去 ZooKeeper 实战评估:KRaft 模式架构解析与生产落地决策指南
zookeeper·架构·kafka
StarRocks_labs5 天前
StarRocks x Fluss x Paimon 湖流一体方案:构建秒级响应、湖流一体的实时数据引擎
starrocks·kafka·lambda·查询·paimon·fluss·湖流一体
数智启示录6 天前
实时数据湖 flink CDC + Kafka +Doris 【企业级实战】Checkpoint、Offset、事务与幂等如何闭环 06
大数据·flink·kafka