【Kafka基础】topics命令行操作大全:高级命令解析(1)

1 创建压缩主题(Log Compaction)

复制代码
/export/home/kafka_zk/kafka_2.13-2.7.1/bin/kafka-topics.sh --create \
    --bootstrap-server 192.168.10.33:9092 \
    --topic comtopic \
    --partitions 3 \
    --replication-factor 2 \
    --config cleanup.policy=compact \
    --config min.cleanable.dirty.ratio=0.5 \
    --config segment.ms=3600000

参数说明

  • cleanup.policy=compact:启用日志压缩
  • min.cleanable.dirty.ratio:控制压缩频率
  • segment.ms:日志段滚动时间(毫秒)

2 查看主题的消息量统计

复制代码
/export/home/kafka_zk/kafka_2.13-2.7.1/bin/kafka-run-class.sh kafka.tools.GetOffsetShell \
    --broker-list 192.168.10.33:9092 \
    --topic testtopic1 \
    --time -1

参数说明

  • --time -1:获取最新的偏移量(-2表示最早的)
  • 输出格式:topic:partition:offset

3 查看主题的磁盘使用情况

复制代码
/export/home/kafka_zk/kafka_2.13-2.7.1/bin/kafka-log-dirs.sh --describe \
    --bootstrap-server 192.168.10.33:9092 \
    --topic-list testtopic1

参数说明

  • --topic-list:指定要检查的主题列表

4 迁移分区副本(重新分配分区)

复制代码
/export/home/kafka_zk/kafka_2.13-2.7.1/bin/kafka-reassign-partitions.sh --generate \
    --bootstrap-server 192.168.10.33:9092 \
    --topics-to-move-json-file topics.json \
    --broker-list "1,2,3"

参数说明

  • --generate:生成迁移计划
  • --topics-to-move-json-file:包含要迁移主题的JSON文件
  • --broker-list:目标broker列表

5 验证分区重新分配进度

复制代码
/export/home/kafka_zk/kafka_2.13-2.7.1/bin/kafka-reassign-partitions.sh --verify \
    --bootstrap-server 192.168.10.33:9092 \
    --reassignment-json-file reassignment.json

参数说明

  • --verify:验证迁移状态
  • --reassignment-json-file:迁移计划文件

6 查看消费者组偏移量

复制代码
/export/home/kafka_zk/kafka_2.13-2.7.1/bin/kafka-consumer-groups.sh --describe \
    --bootstrap-server 192.168.10.33:9092 \
    --group testgroup \
    --offsets

参数说明

  • --group:消费者组名称
  • --offsets:显示偏移量信息
相关推荐
失散135 小时前
分布式专题——35 Netty的使用和常用组件辨析
java·分布式·架构·netty
奔跑吧邓邓子5 小时前
【C++实战(78)】解锁C++ 大数据处理:从并行到分布式实战
c++·分布式·实战·并发·大数据处理
Jolie_Liang6 小时前
证券业智能化投研与分布式交易系统架构:全球发展现状、技术创新与未来趋势研究
分布式·系统架构
2301_772093567 小时前
tuchuang_myfiles&&share文件列表_共享文件
大数据·前端·javascript·数据库·redis·分布式·缓存
gsfl12 小时前
Redis分布式锁
数据库·redis·分布式
岁岁岁平安17 小时前
分布式系统相关概念(单体、集群、分布式、分布式集群、微服务)
分布式·微服务
不太可爱的叶某人19 小时前
【学习笔记】kafka权威指南——第7章 构建数据管道(7-10章只做了解)
笔记·学习·kafka
会开花的二叉树1 天前
C++分布式语音识别服务实践
c++·分布式·语音识别
u0104058361 天前
电商返利APP的秒杀活动架构:如何通过本地缓存(Caffeine)+ 分布式锁应对瞬时高并发?
分布式·缓存·架构
飞川撸码1 天前
读扩散、写扩散(推拉模式)详解 及 混合模式(实际场景分析及相关问题)
分布式·后端·架构