Kafka常用命令

如何进行到Docker容器中运行Kafka:
  • docker ps 找到CONTAINER ID 去前三位
  • 执行docker exec -it bbd bin/bash进入到docker中
  • 进入到/opt/bitnami/kafka/bin中执行kafka脚本

1.查看已经创建的所有topics
bin/kafka-topics.sh --list --bootstrap-server kafka1:9093 --command-config ./config/scram_common.properties

注意:因为此kafka是加了认证的,必须先读取认证文件里的密码才能查看topics, 如下是认证文件的代码:--command-config ./config/scram_common.properties

该命令通过 Kafka CLI 工具连接到指定的 Kafka 集群(kafka1:9093),使用 SCRAM 认证配置文件(scram_common.properties),列出当前集群中的所有 Topic。

2. 创建topic
bin/kafka-topics.sh --bootstrap-server kafka1:9093 --topic WJ-TEST --create --partitions 1 --replication-factor 3 --command-config ./config/scram_common.properties

该命令通过 Kafka CLI 工具在指定的 Kafka 集群(kafka1:9093)中创建一个名为 WJ-TEST 的 Topic,配置为 1 个分区、3 个副本,并使用 SCRAM 认证配置文件(scram_common.properties)进行安全认证。

3.查看已经创建的topic详情
bin/kafka-topics.sh --bootstrap-server kafka1:9093 --topic KAFKA-DIM-TOPIC --command-config ./config/scram_common.properties --describe

或者describe放中间也可以:

bin/kafka-topics.sh --bootstrap-server kafka1:9093 --topic WJ-TEST --describe --command-config ./config/scram_common.properties

该命令通过 Kafka CLI 工具连接到指定的 Kafka 集群(kafka1:9093),使用 SCRAM 认证配置文件(scram_common.properties),查看名为 WJ-TEST 的 Topic 的详细信息(如分区数、副本数、ISR 等)

4.修改已经建好的topic的分区数(注意这里只能新增,不能减少
bin/kafka-topics.sh --bootstrap-server kafka1:9093 --topic WJ-TEST --alter --partitions 3  --command-config ./config/scram_common.properties

该命令通过 Kafka CLI 工具连接到指定的 Kafka 集群(kafka1:9093),使用 SCRAM 认证配置文件(scram_common.properties),将名为 WJ-TEST 的 Topic 的分区数从原来的分区数增加到 3**(只能增加,不能减少)**。

5. 向指定topic中生产消息
bin/kafka-console-producer.sh --bootstrap-server kafka1:9093 --topic WJ-TEST --producer.config ./config/scram_common.properties

该命令通过 Kafka CLI 工具连接到指定的 Kafka 集群(kafka1:9093),使用 SCRAM 认证配置文件(scram_common.properties),向名为 WJ-TEST 的 Topic 中生产消息。

生产的消息:

Hello, Kafka!
This is a test message.
Message 3
6. 向指定的topic消费消息
bin/kafka-console-consumer.sh --bootstrap-server kafka1:9093 --topic WJ-TEST --consumer.config ./config/scram_common.properties --from-beginning

该命令通过 Kafka CLI 工具连接到指定的 Kafka 集群(kafka1:9093),使用 SCRAM 认证配置文件(scram_common.properties),从 WJ-TEST Topic 中从头开始(--from-beginning)消费消息,并将消费到的消息打印到控制台。

消费到的消息:

7.删除指定topic
bin/kafka-topics.sh --bootstrap-server kafka1:9093 --delete --topic WJ-TEST --command-config ./config/scram_common.properties

该代码通过指定的 scram_common.properties 配置文件,连接到 Kafka1 的 9093 端口,并删除名为 WJ-TEST 的 Kafka 主题。

8. 查看操作主题命令参数

bin/kafka-topics.sh

|-----------------------------------------------------|--------------------------|
| 参数 | 描述 |
| --bootstrap-server <String: server toconnect to> | 连接的Kafka Broker主机名称和端口号。 |
| --topic <String: topic> | 操作的topic名称。 |
| --create | 创建主题。 |
| --delete | 删除主题。 |
| --alter | 修改主题。 |
| --list | 查看所有主题。 |
| --describe | 查看主题详细描述。 |
| --partitions <Integer: # of partitions> | 设置分区数。 |
| --replication-factor<Integer: replication factor> | 设置分区副本。 |
| --config <String: name=value> | 更新系统默认的配置。 |

9. 生产者命令行操作

bin/kafka-console-producer.sh

|----------------------------------------------------|--------------------------|
| 参数 | 描述 |
| --bootstrap-server <String: server toconnect to> | 连接的Kafka Broker主机名称和端口号。 |
| --topic <String: topic> | 操作的topic名称。 |

10. 消费者命令行操作

bin/kafka-console-consumer.sh

|----------------------------------------------------|--------------------------|
| 参数 | 描述 |
| --bootstrap-server <String: server toconnect to> | 连接的Kafka Broker主机名称和端口号。 |
| --topic <String: topic> | 操作的topic名称。 |
| --from-beginning | 从头开始消费。 |
| --group <String: consumer group id> | 指定消费者组名称。 |

相关推荐
安科瑞王可19 分钟前
基于物联网技术的分布式光伏监控系统设计与实现
运维·分布式·物联网·能源管理·光伏
赔罪4 小时前
Python 进程与线程-分布式进程
开发语言·分布式·python
xiaolingting6 小时前
消息队列 Kafka、RocketMQ、RabbitMQ 对比与分析
kafka·消息队列·rabbitmq·rocketmq·零拷贝·削峰填谷·顺序写
爱吃鱼饼的猫6 小时前
【分布式】如何使用RocketMQ实现下单-库存-支付这个场景的分布式事务问题
分布式·rocketmq
C182981825756 小时前
kafka连问
分布式·kafka
WeiLai11127 小时前
面试基础---订单系统设计深度解析:分库分表、延迟任务与订单状态机
java·分布式·后端·爬虫·面试·职场和发展·架构
Lill_bin8 小时前
Java中的分布式锁:原理、实现与最佳实践
java·开发语言·数据结构·分布式·算法·排序算法·maven
火龙谷9 小时前
hadoop案例实践:气象大数据离线分析
大数据·hadoop·分布式
WeiLai111210 小时前
面试基础---实时日志分析系统设计深度解析:ELK + Kafka + Flink
java·分布式·后端·elk·面试·架构·kafka
Wnq1007212 小时前
DDS:保障物联网系统的稳定运行和高效协作
java·数据结构·分布式·嵌入式硬件·物联网·深度优先·信号处理