kafka topic consumer

操作目的	命令示例（请替换您的服务器地址和主题名）	关键参数说明
创建主题	`kafka-topics.sh --bootstrap-server 192.168.2.106:9092 --create --topic my_topic --partitions 3 --replication-factor 2`	`--create`表示创建，需指定分区数 (`--partitions`) 和副本因子 (`--replication-factor`)。
删除主题	`kafka-topics.sh --bootstrap-server 192.168.2.106:9092 --delete --topic my_topic`	需确保服务器配置 `delete.topic.enable=true`（通常默认为 true）。
修改主题配置	`kafka-configs.sh --bootstrap-server 192.168.2.106:9092 --entity-type topics --entity-name my_topic --alter --add-config retention.ms=86400000`	使用 `kafka-configs.sh`脚本修改主题级别参数（如消息保留时间）。

kafka-topics.sh --bootstrap-server 192.168.2.106:9092 --list

kafka-topics.sh --bootstrap-server 192.168.2.106:9092 --describe

修改topic

kafka-topics.sh --bootstrap-server 192.168.2.106:9092 --alter --topic test --partitions 5

kafka-topics.sh --bootstrap-server 192.168.2.106:9092 --describe

生产者

kafka-console-producer.sh --bootstrap-server 192.168.2.106:9092 --topic test

>2

>what

>ok

消费者

kafka-console-consumer.sh --bootstrap-server 192.168.2.106:9092 --topic test

2

what

ok

查看消费者

kafka-consumer-groups.sh --bootstrap-server 192.168.2.106:9092 --list

console-consumer-73384

kafka-consumer-groups.sh --bootstrap-server 192.168.2.106:9092 --describe --group console-consumer-73384 --state

GROUP COORDINATOR (ID) ASSIGNMENT-STRATEGY STATE #MEMBERS

console-consumer-73384 es108:9092 (108) range Stable 1

字段

解读

GROUP

消费者组的名称：console-consumer-73384。

**COORDINATOR (ID)**

组协调器 ：管理该消费者组的Kafka Broker是 es108（ID为108）。消费者组的元数据和偏移量都由此Broker负责协调。

ASSIGNMENT-STRATEGY

分区分配策略 ：range。这是Kafka默认的分配策略，用于在消费者组成员间分配主题分区。

STATE

组状态 ：Stable。这是最重要的信息，表示该消费者组当前运行稳定，没有正在进行或准备进行的重平衡（Rebalance），所有成员都在正常工作中。

#MEMBERS

组成员数量 ：1。表示当前该组内有1个活跃的消费者实例。

LAG

kafka-consumer-groups.sh --bootstrap-server 192.168.2.106:9092 --describe --group console-consumer-73384

GROUP TOPIC PARTITION CURRENT-OFFSET LOG-END-OFFSET LAG CONSUMER-ID HOST CLIENT-ID

console-consumer-73384 test 0 - 0 - console-consumer-a4a83b0d-5a80-454f-aef5-2bff7a89dd25 /192.168.2.107 console-consumer

console-consumer-73384 test 1 - 4 - console-consumer-a4a83b0d-5a80-454f-aef5-2bff7a89dd25 /192.168.2.107 console-consumer

console-consumer-73384 test 4 - 0 - console-consumer-a4a83b0d-5a80-454f-aef5-2bff7a89dd25 /192.168.2.107 console-consumer

console-consumer-73384 test 3 - 0 - console-consumer-a4a83b0d-5a80-454f-aef5-2bff7a89dd25 /192.168.2.107 console-consumer

console-consumer-73384 test 2 - 0 - console-consumer-a4a83b0d-5a80-454f-aef5-2bff7a89dd25 /192.168.2.107 console-consumer

作用如下：

列出主题 ：kafka-topics.sh ... --list用于查看集群中所有的主题名称。

查看详情 ：kafka-topics.sh ... --describe --topic test用于查看指定主题的详细信息，包括分区数量、副本分布、Leader 节点以及 ISR（同步副本）列表等，这对于监控主题健康状态至关重要。

修改分区 ：kafka-topics.sh ... --alter --topic test --partitions 5用于增加主题的分区数。请注意，Kafka 目前只支持增加分区，不支持减少分区。

🔧 完整的主题管理命令速查

下表汇总了主题管理的其他常用操作，方便您快速查阅。

操作目的命令示例（请替换您的服务器地址和主题名）关键参数说明

创建主题 kafka-topics.sh --bootstrap-server 192.168.2.106:9092 --create --topic my_topic --partitions 3 --replication-factor 2 --create表示创建，需指定分区数 (--partitions) 和副本因子 (--replication-factor)。

删除主题 kafka-topics.sh --bootstrap-server 192.168.2.106:9092 --delete --topic my_topic 需确保服务器配置 delete.topic.enable=true（通常默认为 true）。

修改主题配置 kafka-configs.sh --bootstrap-server 192.168.2.106:9092 --entity-type topics --entity-name my_topic --alter --add-config retention.ms=86400000 使用 kafka-configs.sh脚本修改主题级别参数（如消息保留时间）。

💡 生产与消费消息

除了管理主题，通过控制台快速测试消息的生产和消费也非常实用。
启动控制台生产者 ：您命令末尾的 kafka-console-producer.sh用于启动一个生产者，可以实时输入消息并发送到指定主题。
复制代码
kafka-console-producer.sh --bootstrap-server 192.168.2.106:9092 --topic test
启动控制台消费者 ：要读取刚生产的消息，可以启动一个消费者。使用 --from-beginning参数可以从头开始消费主题中的所有历史消息。
复制代码
kafka-console-consumer.sh --bootstrap-server 192.168.2.106:9092 --topic test --from-beginning
🧠 重要提醒

分区只能增加：再次强调，修改分区数时，新的分区数必须大于当前数量，无法减少。

使用 --bootstrap-server ：您已经使用了正确的参数。在较新的 Kafka 版本（约 2.2 以后）中，推荐使用 --bootstrap-server替代旧的 --zookeeper参数。

主题删除是异步操作：执行删除命令后，主题不会立即被物理删除，而是先被标记为待删除，由 Kafka 在后台异步清理。