kafka 常用命令

1 集群操作

1.1 启动集群

  1. 在每个设备启动Zookeeper:

    bash 复制代码
    bin/zookeeper-server-start.sh config/zookeeper.properties

    若不想显示日志信息:

    shell 复制代码
    bin/zookeeper-server-start.sh config/zookeeper.properties > /dev/null 2>&1 &
  2. 在每个设备启动Kafka服务器:

    bash 复制代码
    bin/kafka-server-start.sh config/server.properties

    若不想显示日志信息:

    shell 复制代码
    bin/kafka-server-start.sh config/server.properties > /dev/null 2>&1 &

1.2 关闭集群

  1. 在每个设备关闭Kafka服务器:

    bash 复制代码
    bin/kafka-server-stop.sh
  2. 在每个设备关闭Zookeeper:

    bash 复制代码
    bin/zookeeper-server-stop.sh

1.3 检查Kafka状态

查看Kafka服务的状态可以使用kafka-broker-api-versions.sh

bash 复制代码
bin/kafka-broker-api-versions.sh --bootstrap-server localhost:9092

1.4 重新分配分区

重新分配分区通常用于扩展Kafka集群时,将主题的分区重新分配到新的broker上。使用以下步骤进行分区重新分配:

  1. 生成重新分配方案

    bash 复制代码
    bin/kafka-reassign-partitions.sh --generate --zookeeper localhost:2181 --topics-to-move-json-file topics-to-move.json --broker-list "0,1,2"
  2. 执行重新分配

    bash 复制代码
    bin/kafka-reassign-partitions.sh --execute --zookeeper localhost:2181 --reassignment-json-file reassignment.json
  3. 查看重新分配状态

    bash 复制代码
    bin/kafka-reassign-partitions.sh --verify --zookeeper localhost:2181 --reassignment-json-file reassignment.json

1.5 查看ZooKeeper中的Kafka数据

你可以使用ZooKeeper的命令行客户端zkCli.sh来查看Kafka在ZooKeeper中的数据:

bash 复制代码
bin/zookeeper-shell.sh localhost:2181

进入ZooKeeper shell后,可以使用以下命令:

  • 查看根节点:

    shell 复制代码
    ls /
  • 查看Kafka的brokers信息:

    shell 复制代码
    ls /brokers/ids
  • 查看某个节点的数据:

    shell 复制代码
    get /brokers/ids/0

2 主题操作

2.1 相关参数

  • --topic:指定主题的名称。
  • --bootstrap-server:Kafka broker的地址。
  • --replication-factor:副本因子,即每个主题分区的副本数。
  • --partitions:分区数。

2.2 创建主题

创建主题test-topic

bash 复制代码
bin/kafka-topics.sh --create --topic test-topic --bootstrap-server localhost:9092 --replication-factor 3 --partitions 2

2.3 查看主题

列出所有主题:

bash 复制代码
bin/kafka-topics.sh --list --bootstrap-server localhost:9092

描述主题test-topic的详细信息:

bash 复制代码
bin/kafka-topics.sh --describe --topic test-topic --bootstrap-server localhost:9092

2.4 删除主题

删除主题test-topic

bash 复制代码
bin/kafka-topics.sh --delete --topic test-topic --bootstrap-server localhost:9092

2.5 修改主题

修改主题test-topic

shell 复制代码
bin/kafka-topics.sh --alter --topic test-topic --bootstrap-server your-kafka-bootstrap-server:9092 --config max.message.bytes=10485760

3 生产与消费

3.1 生产消息

使用kafka-console-producer.sh发送消息到Kafka主题:

bash 复制代码
bin/kafka-console-producer.sh --topic test-topic --bootstrap-server localhost:9092

启动后可以输入消息并按回车发送。

3.2 消费消息

使用kafka-console-consumer.sh从Kafka主题消费消息:

bash 复制代码
bin/kafka-console-consumer.sh --topic test-topic --from-beginning --bootstrap-server localhost:9092

参数说明:

  • --from-beginning:表示从主题的开始位置消费消息。
相关推荐
群联云防护小杜1 小时前
构建分布式高防架构实现业务零中断
前端·网络·分布式·tcp/ip·安全·游戏·架构
爱吃面的猫1 小时前
大数据Hadoop之——Flink1.17.0安装与使用(非常详细)
大数据·hadoop·分布式
Fireworkitte2 小时前
安装 Elasticsearch IK 分词器
大数据·elasticsearch
ywyy67983 小时前
短剧系统开发定制全流程解析:从需求分析到上线的专业指南
大数据·需求分析·短剧·推客系统·推客小程序·短剧系统开发·海外短剧系统开发
上上迁3 小时前
分布式生成 ID 策略的演进和最佳实践,含springBoot 实现(Java版本)
java·spring boot·分布式
长路 ㅤ   3 小时前
Java后端技术博客汇总文档
分布式·算法·技术分享·编程学习·java后端
暗影八度5 小时前
Spark流水线数据质量检查组件
大数据·分布式·spark
白鲸开源5 小时前
Linux 基金会报告解读:开源 AI 重塑经济格局,有人失业,有人涨薪!
大数据
海豚调度5 小时前
Linux 基金会报告解读:开源 AI 重塑经济格局,有人失业,有人涨薪!
大数据·人工智能·ai·开源
白鲸开源5 小时前
DolphinScheduler+Sqoop 入门避坑:一文搞定数据同步常见异常
大数据