【Kafka基础】topics命令行操作大全:高级命令解析(1)

1 创建压缩主题(Log Compaction)

复制代码
/export/home/kafka_zk/kafka_2.13-2.7.1/bin/kafka-topics.sh --create \
    --bootstrap-server 192.168.10.33:9092 \
    --topic comtopic \
    --partitions 3 \
    --replication-factor 2 \
    --config cleanup.policy=compact \
    --config min.cleanable.dirty.ratio=0.5 \
    --config segment.ms=3600000

参数说明

  • cleanup.policy=compact:启用日志压缩
  • min.cleanable.dirty.ratio:控制压缩频率
  • segment.ms:日志段滚动时间(毫秒)

2 查看主题的消息量统计

复制代码
/export/home/kafka_zk/kafka_2.13-2.7.1/bin/kafka-run-class.sh kafka.tools.GetOffsetShell \
    --broker-list 192.168.10.33:9092 \
    --topic testtopic1 \
    --time -1

参数说明

  • --time -1:获取最新的偏移量(-2表示最早的)
  • 输出格式:topic:partition:offset

3 查看主题的磁盘使用情况

复制代码
/export/home/kafka_zk/kafka_2.13-2.7.1/bin/kafka-log-dirs.sh --describe \
    --bootstrap-server 192.168.10.33:9092 \
    --topic-list testtopic1

参数说明

  • --topic-list:指定要检查的主题列表

4 迁移分区副本(重新分配分区)

复制代码
/export/home/kafka_zk/kafka_2.13-2.7.1/bin/kafka-reassign-partitions.sh --generate \
    --bootstrap-server 192.168.10.33:9092 \
    --topics-to-move-json-file topics.json \
    --broker-list "1,2,3"

参数说明

  • --generate:生成迁移计划
  • --topics-to-move-json-file:包含要迁移主题的JSON文件
  • --broker-list:目标broker列表

5 验证分区重新分配进度

复制代码
/export/home/kafka_zk/kafka_2.13-2.7.1/bin/kafka-reassign-partitions.sh --verify \
    --bootstrap-server 192.168.10.33:9092 \
    --reassignment-json-file reassignment.json

参数说明

  • --verify:验证迁移状态
  • --reassignment-json-file:迁移计划文件

6 查看消费者组偏移量

复制代码
/export/home/kafka_zk/kafka_2.13-2.7.1/bin/kafka-consumer-groups.sh --describe \
    --bootstrap-server 192.168.10.33:9092 \
    --group testgroup \
    --offsets

参数说明

  • --group:消费者组名称
  • --offsets:显示偏移量信息
相关推荐
菜鸡儿齐1 小时前
kafka简介
分布式·kafka
周杰伦_Jay1 小时前
【实战|旅游知识问答RAG系统全链路解析】从配置到落地(附真实日志数据)
大数据·人工智能·分布式·机器学习·架构·旅游·1024程序员节
深兰科技4 小时前
深兰科技入选“2025中国人工智能行业创新力企业百强”
人工智能·科技·百度·kafka·rabbitmq·memcached·深兰科技
兜兜风d'4 小时前
RabbitMQ事务机制详解
数据库·spring boot·分布式·rabbitmq·ruby·java-rabbitmq
ifeng09184 小时前
HarmonyOS分布式任务调度——跨设备智能任务分配与迁移
分布式·华为·harmonyos
9ilk4 小时前
【仿RabbitMQ的发布订阅式消息队列】--- 模块设计与划分
c++·笔记·分布式·后端·中间件·rabbitmq
Hello World......6 小时前
互联网大厂Java面试实战:以Spring Boot与微服务为核心的技术场景剖析
java·spring boot·redis·微服务·junit·kafka·spring security
linweidong6 小时前
多级缓存系统设计:从本地到分布式,打造高性能利器
分布式·缓存·消息队列·雪崩·java面经·击穿·消费端
西***63476 小时前
怕故障?怕扩展难?分布式可视化控制:给足场景安全感
分布式·数据可视化
qq_5470261797 小时前
分布式Session会话实现方案
分布式