kafka主题管理详解 - kafka-topics.sh

目录

      • 基本语法
      • 常用命令选项
        • [1. 创建主题(create)](#1. 创建主题(create))
          • [注意: 复制因子不能大于可用的 broker 数量](#注意: 复制因子不能大于可用的 broker 数量)
        • [2. 查看所有主题(list)](#2. 查看所有主题(list))
        • [3. 查看主题详情(describe)](#3. 查看主题详情(describe))
        • [4. 修改主题配置(alter)](#4. 修改主题配置(alter))
        • [5. 删除主题(delete)](#5. 删除主题(delete))
        • [6. 其他有用选项](#6. 其他有用选项)
      • 常见配置参数

在 Kafka 的 KRaft 模式(无 ZooKeeper)中, kafka-topics.sh 工具用于管理主题(topics),包括创建、查看、修改和删除等操作。以下是其详细使用方法:

基本语法

bash 复制代码
kafka-topics.sh --bootstrap-server <kafka-broker-host:port> [命令选项]

注意:在 KRaft 模式下,不再使用 --zookeeper 参数,而是通过 --bootstrap-server 连接到 Kafka broker。

常用命令选项

1. 创建主题(create)
bash 复制代码
kafka-topics.sh --bootstrap-server localhost:9092 \
  --create \
  --topic <topic-name> \
  --partitions <num-partitions> \
  --replication-factor <replication-factor> \
  [--config <key=value>]  # 可选的主题配置

示例:

bash 复制代码
# 创建一个名为 "user-tracking" 的主题,3个分区,1个副本
kafka-topics.sh --bootstrap-server localhost:9092 \
  --create \
  --topic user-tracking \
  --partitions 3 \
  --replication-factor 1 \
  --config retention.ms=86400000  # 数据保留1天
注意: 复制因子不能大于可用的 broker 数量

在 Kafka 中,复制因子不能大于可用的 broker 数量,因为每个副本需要存储在不同的 broker 上以保证高可用性。

否则会报错:

Error while executing topic command : Unable to replicate the partition 2 time(s): The target replication factor of 2 cannot be reached because only 1 broker(s) are registered.

2. 查看所有主题(list)
bash 复制代码
kafka-topics.sh --bootstrap-server localhost:9092 --list

执行演示:

3. 查看主题详情(describe)
bash 复制代码
kafka-topics.sh --bootstrap-server localhost:9092 \
  --describe \
  --topic <topic-name>  # 不指定则查看所有主题详情

示例:

4. 修改主题配置(alter)
bash 复制代码
kafka-topics.sh --bootstrap-server localhost:9092 \
  --alter \
  --topic <topic-name> \
  [--partitions <new-num-partitions>]  # 只能增加分区数
  [--config <key=value>]  # 添加或修改配置
  [--delete-config <key>]  # 删除配置
增加分区数

示例:

bash 复制代码
# 增加分区数到5
kafka-topics.sh --bootstrap-server localhost:9092 \
  --alter \
  --topic user-tracking \
  --partitions 5

演示:

5. 删除主题(delete)
bash 复制代码
kafka-topics.sh --bootstrap-server localhost:9092 \
  --delete \
  --topic <topic-name>

注意:删除主题需要 broker 配置 delete.topic.enable=true(默认已开启)。

删除操作是异步的,执行完这条命令不代表主题立即就被删除了。它仅仅是被标记成"已删除"状态而已。Kafka 会在后台默默地开启主题删除操作。

演示:

6. 其他有用选项
  • --if-exists:操作仅在主题存在时执行(如删除、修改)
  • --if-not-exists:操作仅在主题不存在时执行(如创建)

示例:

bash 复制代码
# 仅在主题存在时删除
kafka-topics.sh --bootstrap-server localhost:9092 \
  --delete \
  --topic user-tracking \
  --if-exists

常见配置参数

可以通过 --config 选项设置的常用主题配置:

  • retention.ms:数据保留时间(毫秒)
  • retention.bytes:每个分区保留的数据量上限
  • cleanup.policy:清理策略(delete 或 compact)
  • max.message.bytes:单条消息的最大字节数
相关推荐
goehou17 小时前
Kafka 的默认配置适合演示,不适合生产
kafka·消息队列·幂等·ai agent
国科安芯20 小时前
CAN FD一升到5Mbps就误码:位定时、终端与共模的现场排查顺序——ASM1042S2S在星载分布式总线中的FAE实践
分布式·安全·架构·canfd·dcdc·抗辐射·载荷
ClouGence1 天前
开源数据库管理工具 CloudDM 发布新版本,支持 GreptimeDB 数据源
数据库·kafka
用户3610588626122 天前
KafkaProducer 源码深度剖析:筛选可以发送消息的 Broker
kafka
西木Qi2 天前
Kafka消息中间件单机版安装配置
分布式·kafka
OriginCoding2 天前
一个 JDK 跑起六个分布式挑战:Kotlin 版 Gossip Glomers(一)
分布式·kotlin
stark张宇3 天前
分布式事务方案设计与选型思考:2PC、TCC
分布式·架构
飞奔的瓜牛3 天前
Kafka 生产实践指南:使用要点、性能优化与运维维护
中间件·性能优化·kafka
时间的拾荒人3 天前
Redis 典型应用:缓存与分布式锁原理
redis·分布式·缓存·面试·架构
筑梦之人4 天前
Elasticsearch 9.x 从入门到精通(5/7):集群、分布式与运维
运维·分布式·elasticsearch