kafka的shell操作

Kafka 提供了丰富的 shell 命令工具，位于 Kafka 安装目录的 bin/ 目录下（Windows 系统为 bin/windows/）。这些命令用于管理主题、生产者、消费者、分区等核心组件。以下是常用的 Kafka shell 操作大全：

一、主题（Topic）操作

1. 创建主题

复制代码

# 创建一个名为 test-topic 的主题，3个分区，2个副本
bin/kafka-topics.sh --bootstrap-server localhost:9092 \
  --create \
  --topic test-topic \
  --partitions 3 \
  --replication-factor 2

--bootstrap-server：指定 Kafka 集群地址（broker 列表）
--partitions：分区数量（提高并行度）
--replication-factor：副本数量（提高可用性，不能超过 broker 数量）

2. 查看所有主题

复制代码

bin/kafka-topics.sh --bootstrap-server localhost:9092 \
  --list

3. 查看主题详情

复制代码

bin/kafka-topics.sh --bootstrap-server localhost:9092 \
  --describe \
  --topic test-topic

输出包含分区数、副本分布、ISR（同步副本）等信息。

4. 修改主题（仅支持分区数增加）

复制代码

bin/kafka-topics.sh --bootstrap-server localhost:9092 \
  --alter \
  --topic test-topic \
  --partitions 5  # 只能增加，不能减少

5. 删除主题

复制代码

bin/kafka-topics.sh --bootstrap-server localhost:9092 \
  --delete \
  --topic test-topic

需确保 server.properties 中 delete.topic.enable=true（默认开启）

二、生产者（Producer）操作

1. 启动控制台生产者

复制代码

# 向 test-topic 发送消息（输入内容后按回车发送）
bin/kafka-console-producer.sh --bootstrap-server localhost:9092 \
  --topic test-topic

2. 带键值对的生产者

复制代码

# 发送格式为 "key:value" 的消息（需指定分隔符）
bin/kafka-console-producer.sh --bootstrap-server localhost:9092 \
  --topic test-topic \
  --property "parse.key=true" \
  --property "key.separator=:"

输入示例：user1:hello（key 为 user1，value 为 hello）

三、消费者（Consumer）操作

1. 启动控制台消费者（从最新消息开始消费）

复制代码

bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 \
  --topic test-topic

2. 从最早消息开始消费

复制代码

bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 \
  --topic test-topic \
  --from-beginning

3. 消费指定分区的消息

复制代码

bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 \
  --topic test-topic \
  --partition 0  # 消费第0个分区

4. 带消费组的消费者

复制代码

# 加入名为 test-group 的消费组
bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 \
  --topic test-topic \
  --group test-group

四、消费组（Consumer Group）操作

1. 查看所有消费组

复制代码

bin/kafka-consumer-groups.sh --bootstrap-server localhost:9092 \
  --list

2. 查看消费组详情

复制代码

bin/kafka-consumer-groups.sh --bootstrap-server localhost:9092 \
  --describe \
  --group test-group

输出包含：

消费组 ID
主题名称
分区分配情况
当前消费偏移量（CURRENT-OFFSET）
日志末尾偏移量（LOG-END-OFFSET）
未消费消息数（LAG）

3. 重置消费组偏移量

复制代码

# 将 test-group 对 test-topic 的偏移量重置为最早
bin/kafka-consumer-groups.sh --bootstrap-server localhost:9092 \
  --group test-group \
  --topic test-topic \
  --reset-offsets \
  --to-earliest \
  --execute

其他重置选项：

--to-latest：重置到最新
--to-offset <offset>：重置到指定偏移量
--shift-by <number>：相对当前偏移量移动（正数向前，负数向后）

五、分区（Partition）操作

1. 查看分区 Leader 分布

复制代码

# 结合主题详情查看
bin/kafka-topics.sh --bootstrap-server localhost:9092 \
  --describe \
  --topic test-topic | grep "Leader:"

六、其他常用操作

1. 查看 broker 元数据

复制代码

bin/kafka-broker-api-versions.sh --bootstrap-server localhost:9092

2. 查看主题消息数量（近似值）

复制代码

bin/kafka-run-class.sh kafka.tools.GetOffsetShell \
  --bootstrap-server localhost:9092 \
  --topic test-topic \
  --time -1  # -1 表示最新偏移量，-2 表示最早偏移量

计算总消息数：各分区最新偏移量之和。

七、Windows 系统注意事项

所有 .sh 命令替换为 .bat（如 kafka-topics.bat）
路径分隔符使用 \ 而非 /

以上命令覆盖了 Kafka 日常运维的核心场景，实际使用时需根据集群地址（--bootstrap-server）和具体需求调整参数。