【Kafka基础】topics命令行操作大全:高级命令解析(2)

1 强制删除主题

复制代码
/export/home/kafka_zk/kafka_2.13-2.7.1/bin/kafka-topics.sh --delete \
    --zookeeper 192.168.10.33:2181 \
    --topic mytopic \
    --if-exists

参数说明:

  • --zookeeper:直接连接Zookeeper删除(旧版本方式)
  • --if-exists:仅当主题存在时执行

2 查看主题的消息时间戳

复制代码
/export/home/kafka_zk/kafka_2.13-2.7.1/bin/kafka-dump-log.sh --files /export/home/kafka_zk/kafka_2.13-2.7.1/logs/my-topic-0/00000000000000000000.log \
    --print-data-log \
    --value-decoder-class "kafka.serializer.StringDecoder"

参数说明:

  • --files:指定日志文件路径
  • --print-data-log:打印消息内容
  • --value-decoder-class:指定解码器

3 创建ACL控制的主题

复制代码
/export/home/kafka_zk/kafka_2.13-2.7.1/bin/kafka-acls.sh --add \
    --allow-principal User:Producer1 \
    --operation Write \
    --topic my-secure-topic \
    --bootstrap-server 192.168.10.33:9092

参数说明:

  • --allow-principal:允许的用户
  • --operation:允许的操作(Write/Read/Create等)
  • --topic:应用ACL的主题

4 查看主题的生产者/消费者吞吐量

复制代码
/export/home/kafka_zk/kafka_2.13-2.7.1/bin/kafka-producer-perf-test.sh --topic my-topic \
    --num-records 100000 \
    --record-size 1000 \
    --throughput 2000 \
    --producer-props bootstrap.servers=192.168.10.33:9092

参数说明:

  • --num-records:要发送的消息数量
  • --record-size:每条消息的大小(字节)
  • --throughput:目标吞吐量(消息/秒)

5 增加副本因子

复制代码
/export/home/kafka_zk/kafka_2.13-2.7.1/bin/kafka-reassign-partitions.sh \
    --bootstrap-server 192.168.10.33:9092 \
    --reassignment-json-file increase-replication-factor.json \
    --execute

参数说明:

  • --reassignment-json-file:指定分区重新分配的 JSON 配置文件路径
  • --execute:执行模式,实际触发分区重新分配操作

6 导出主题数据

复制代码
/export/home/kafka_zk/kafka_2.13-2.7.1/bin/kafka-console-consumer.sh \
    --bootstrap-server 192.168.10.33:9092 \
    --topic my-topic \
    --from-beginning \
    --timeout-ms 1000 \
    --max-messages 10

参数说明:

  • --from-beginning:从该主题最早的消息开始消费(如果不指定,则默认从最新消息开始)
  • --timeout-ms 1000:设置消费者等待消息的超时时间(毫秒),这里设置为1秒
  • --max-messages 10:限制最多消费10条消息后自动退出

7 性能测试

7.1 生产端

复制代码
/export/home/kafka_zk/kafka_2.13-2.7.1/bin/kafka-producer-perf-test.sh \
    --topic perf-test \
    --num-records 1000000 \
    --record-size 1000 \
    --throughput -1 \
    --producer-props bootstrap.servers=192.168.10.33:9092

7.2 消费端

复制代码
/export/home/kafka_zk/kafka_2.13-2.7.1/bin/kafka-consumer-perf-test.sh \
    --topic perf-test \
    --bootstrap-server 192.168.10.33:9092 \
    --messages 1000000
相关推荐
我不会起名字32211 小时前
消费回调固定 return nil:错误传播与 Kafka 位点提交的区别
后端·mongodb·kafka·go·im·故障排查
qq_4523962318 小时前
第十篇:《Kafka 安全加固:SASL、SSL、ACL 与多租户隔离》
安全·kafka·ssl
用户3610588626122 天前
KafkaProducer 元数据管理:send() 卡住时,它在等什么
kafka
空奈qwq2 天前
【Kafka 从入门到实战】从手写一个队列到生产级消息中间件:架构、分区、消费组、零拷贝全解析
分布式·架构·kafka
用户3610588626124 天前
深度拆解 Kafka 源码:Producer 构造器装配了哪些核心组件
kafka
知识搬运临时工5 天前
Kafka 发 1 GiB 数据,用户态 CPU 只花 0.016 秒,总耗时反而慢了 11%
后端·kafka
一条泥憨鱼6 天前
【消息队列】ACK确认了什么:消息队列可靠投递的完整链路
java·后端·kafka·消息队列·rabbitmq
斯普信专业组6 天前
Kafka 消费者 poll() 流程与原理详解
kafka·流程图
ly76896 天前
幂等消费者与重试副作用:Kafka 端点接入时的去重边界
分布式·kafka·linq·apache camel·幂等消费者·重试副作用·去重边界