kafka topic consumer

操作目的 命令示例(请替换您的服务器地址和主题名) 关键参数说明
创建主题 kafka-topics.sh --bootstrap-server 192.168.2.106:9092 --create --topic my_topic --partitions 3 --replication-factor 2 --create表示创建,需指定分区数 (--partitions) 和副本因子 (--replication-factor)。
删除主题 kafka-topics.sh --bootstrap-server 192.168.2.106:9092 --delete --topic my_topic 需确保服务器配置 delete.topic.enable=true(通常默认为 true)。
修改主题配置 kafka-configs.sh --bootstrap-server 192.168.2.106:9092 --entity-type topics --entity-name my_topic --alter --add-config retention.ms=86400000 使用 kafka-configs.sh脚本修改主题级别参数(如消息保留时间)。

kafka-topics.sh --bootstrap-server 192.168.2.106:9092 --list

kafka-topics.sh --bootstrap-server 192.168.2.106:9092 --describe

修改topic

kafka-topics.sh --bootstrap-server 192.168.2.106:9092 --alter --topic test --partitions 5

kafka-topics.sh --bootstrap-server 192.168.2.106:9092 --describe

生产者

kafka-console-producer.sh --bootstrap-server 192.168.2.106:9092 --topic test

>2

>what

>ok

消费者

kafka-console-consumer.sh --bootstrap-server 192.168.2.106:9092 --topic test

2

what

ok

查看消费者

kafka-consumer-groups.sh --bootstrap-server 192.168.2.106:9092 --list

console-consumer-73384

kafka-consumer-groups.sh --bootstrap-server 192.168.2.106:9092 --describe --group console-consumer-73384 --state

GROUP COORDINATOR (ID) ASSIGNMENT-STRATEGY STATE #MEMBERS

console-consumer-73384 es108:9092 (108) range Stable 1

字段

解读

GROUP

消费者组的名称:console-consumer-73384

**COORDINATOR (ID)**​

组协调器 :管理该消费者组的Kafka Broker是 es108(ID为108)。消费者组的元数据和偏移量都由此Broker负责协调 。

ASSIGNMENT-STRATEGY

分区分配策略range。这是Kafka默认的分配策略,用于在消费者组成员间分配主题分区 。

STATE

组状态Stable这是最重要的信息,表示该消费者组当前运行稳定,没有正在进行或准备进行的重平衡(Rebalance),所有成员都在正常工作中 。

#MEMBERS

组成员数量1。表示当前该组内有1个活跃的消费者实例 。

LAG

kafka-consumer-groups.sh --bootstrap-server 192.168.2.106:9092 --describe --group console-consumer-73384

GROUP TOPIC PARTITION CURRENT-OFFSET LOG-END-OFFSET LAG CONSUMER-ID HOST CLIENT-ID

console-consumer-73384 test 0 - 0 - console-consumer-a4a83b0d-5a80-454f-aef5-2bff7a89dd25 /192.168.2.107 console-consumer

console-consumer-73384 test 1 - 4 - console-consumer-a4a83b0d-5a80-454f-aef5-2bff7a89dd25 /192.168.2.107 console-consumer

console-consumer-73384 test 4 - 0 - console-consumer-a4a83b0d-5a80-454f-aef5-2bff7a89dd25 /192.168.2.107 console-consumer

console-consumer-73384 test 3 - 0 - console-consumer-a4a83b0d-5a80-454f-aef5-2bff7a89dd25 /192.168.2.107 console-consumer

console-consumer-73384 test 2 - 0 - console-consumer-a4a83b0d-5a80-454f-aef5-2bff7a89dd25 /192.168.2.107 console-consumer

作用如下:

  • 列出主题kafka-topics.sh ... --list用于查看集群中所有的主题名称。

  • 查看详情kafka-topics.sh ... --describe --topic test用于查看指定主题的详细信息,包括分区数量、副本分布、Leader 节点以及 ISR(同步副本)列表等,这对于监控主题健康状态至关重要。

  • 修改分区kafka-topics.sh ... --alter --topic test --partitions 5用于增加主题的分区数。请注意,Kafka 目前只支持增加分区,不支持减少分区。

🔧 完整的主题管理命令速查

下表汇总了主题管理的其他常用操作,方便您快速查阅。

操作目的 命令示例(请替换您的服务器地址和主题名) 关键参数说明
创建主题 kafka-topics.sh --bootstrap-server 192.168.2.106:9092 --create --topic my_topic --partitions 3 --replication-factor 2 --create表示创建,需指定分区数 (--partitions) 和副本因子 (--replication-factor)。
删除主题 kafka-topics.sh --bootstrap-server 192.168.2.106:9092 --delete --topic my_topic 需确保服务器配置 delete.topic.enable=true(通常默认为 true)。
修改主题配置 kafka-configs.sh --bootstrap-server 192.168.2.106:9092 --entity-type topics --entity-name my_topic --alter --add-config retention.ms=86400000 使用 kafka-configs.sh脚本修改主题级别参数(如消息保留时间)。

💡 生产与消费消息

除了管理主题,通过控制台快速测试消息的生产和消费也非常实用。

  • 启动控制台生产者 :您命令末尾的 kafka-console-producer.sh用于启动一个生产者,可以实时输入消息并发送到指定主题。

    复制代码
    kafka-console-producer.sh --bootstrap-server 192.168.2.106:9092 --topic test
  • 启动控制台消费者 :要读取刚生产的消息,可以启动一个消费者。使用 --from-beginning参数可以从头开始消费主题中的所有历史消息。

    复制代码
    kafka-console-consumer.sh --bootstrap-server 192.168.2.106:9092 --topic test --from-beginning

🧠 重要提醒

  • 分区只能增加:再次强调,修改分区数时,新的分区数必须大于当前数量,无法减少。

  • 使用 --bootstrap-server :您已经使用了正确的参数。在较新的 Kafka 版本(约 2.2 以后)中,推荐使用 --bootstrap-server替代旧的 --zookeeper参数。

  • 主题删除是异步操作:执行删除命令后,主题不会立即被物理删除,而是先被标记为待删除,由 Kafka 在后台异步清理。

相关推荐
月落归舟9 小时前
从单机到分布式:互联网系统架构演进全流程
分布式·系统架构
搬砖柯10 小时前
系列12-接口压测怎么做成平台能力?自研 httpx 引擎、分布式 Worker 与 Locust 选型对照
分布式·测试工具·性能优化·开源·自动化·httpx
折哥的程序人生 · 物流技术专研10 小时前
Java面试通关⑭:分布式理论与架构全集
分布式·微服务·校招·分布式事务·cap·java面试·最终一致性
Kyrie_Li21 小时前
Spring Boot Kafka 生产级配置全解析:从入门到精通
spring boot·后端·kafka
格子软件1 天前
2026年GEO贴牌代理:分布式多级分账状态机源码深度解构
java·vue.js·分布式·vue·geo
Evand J1 天前
【论文复现】MATLAB例程,存在测距误差的WSN无锚点分布式自定位,《WSN中存在测距误差的无锚点分布式自定位方法》
开发语言·分布式·matlab·定位·导航·wsn
格子软件1 天前
2026年分布式GEO代理流量调度:源码级状态机防重挂实战
java·vue.js·人工智能·spring boot·分布式·vue
2301_801184751 天前
kafka-zookeeper
分布式·zookeeper·kafka
Devin~Y1 天前
抖音级短视频推荐与直播带货平台面试实战:从 Java 微服务到 RAG 智能客服全链路解析
java·spring boot·redis·spring cloud·kafka·agent·rag
大明者省1 天前
四大模态大模型训练体系全解析(架构+范式+分布式+算力成本·)
笔记·分布式·架构