作者介绍:简历上没有一个精通的运维工程师。请点击上方的蓝色《运维小路》关注我,下面的思维导图也是预计更新的内容和当前进度(不定时更新)。

我们上一章介绍了中间件:Zookeeper,本章将介绍另外一个中间件:Kafka。目前这2个中间件都是基于JAVA语言的。
对于运维来说,一个正常的Kafka的集群,一般情况下我们是不需要去操作ZooKeeper来维护它的集群状态的。我们对Kafka的操作,大部分都通过Kafka自带的脚本来操作它,下面我们就来介绍下使用较多的命令。(部分命令在前面的操作里面已经有演示)。
yaml
#下面都是默认自带的脚本
#根据环境和需求不一样,大部分我们都用不到,我们最常用就那么几个
[root@localhost ~]# ll /root/kafka_2.13-2.8.2/bin/
total 156
-rwxr-xr-x 1 root root 1423 Sep 2 2022 connect-distributed.sh
-rwxr-xr-x 1 root root 1396 Sep 2 2022 connect-mirror-maker.sh
-rwxr-xr-x 1 root root 1420 Sep 2 2022 connect-standalone.sh
-rwxr-xr-x 1 root root 861 Sep 2 2022 kafka-acls.sh
-rwxr-xr-x 1 root root 873 Sep 2 2022 kafka-broker-api-versions.sh
-rwxr-xr-x 1 root root 860 Sep 2 2022 kafka-cluster.sh
-rwxr-xr-x 1 root root 864 Sep 2 2022 kafka-configs.sh
-rwxr-xr-x 1 root root 945 Sep 2 2022 kafka-console-consumer.sh
-rwxr-xr-x 1 root root 944 Sep 2 2022 kafka-console-producer.sh
-rwxr-xr-x 1 root root 871 Sep 2 2022 kafka-consumer-groups.sh
-rwxr-xr-x 1 root root 948 Sep 2 2022 kafka-consumer-perf-test.sh
-rwxr-xr-x 1 root root 871 Sep 2 2022 kafka-delegation-tokens.sh
-rwxr-xr-x 1 root root 869 Sep 2 2022 kafka-delete-records.sh
-rwxr-xr-x 1 root root 866 Sep 2 2022 kafka-dump-log.sh
-rwxr-xr-x 1 root root 863 Sep 2 2022 kafka-features.sh
-rwxr-xr-x 1 root root 870 Sep 2 2022 kafka-leader-election.sh
-rwxr-xr-x 1 root root 863 Sep 2 2022 kafka-log-dirs.sh
-rwxr-xr-x 1 root root 873 Sep 2 2022 kafka-metadata-shell.sh
-rwxr-xr-x 1 root root 862 Sep 2 2022 kafka-mirror-maker.sh
-rwxr-xr-x 1 root root 886 Sep 2 2022 kafka-preferred-replica-election.sh
-rwxr-xr-x 1 root root 959 Sep 2 2022 kafka-producer-perf-test.sh
-rwxr-xr-x 1 root root 874 Sep 2 2022 kafka-reassign-partitions.sh
-rwxr-xr-x 1 root root 874 Sep 2 2022 kafka-replica-verification.sh
-rwxr-xr-x 1 root root 10329 Sep 2 2022 kafka-run-class.sh
-rwxr-xr-x 1 root root 1376 Sep 2 2022 kafka-server-start.sh
-rwxr-xr-x 1 root root 1361 Sep 2 2022 kafka-server-stop.sh
-rwxr-xr-x 1 root root 860 Sep 2 2022 kafka-storage.sh
-rwxr-xr-x 1 root root 945 Sep 2 2022 kafka-streams-application-reset.sh
-rwxr-xr-x 1 root root 863 Sep 2 2022 kafka-topics.sh
-rwxr-xr-x 1 root root 958 Sep 2 2022 kafka-verifiable-consumer.sh
-rwxr-xr-x 1 root root 958 Sep 2 2022 kafka-verifiable-producer.sh
-rwxr-xr-x 1 root root 1714 Sep 2 2022 trogdor.sh
drwxr-xr-x 2 root root 4096 Sep 2 2022 windows
-rwxr-xr-x 1 root root 867 Sep 2 2022 zookeeper-security-migration.sh
-rwxr-xr-x 1 root root 1393 Sep 2 2022 zookeeper-server-start.sh
-rwxr-xr-x 1 root root 1366 Sep 2 2022 zookeeper-server-stop.sh
-rwxr-xr-x 1 root root 1019 Sep 2 2022 zookeeper-shell.sh
一.基本操作
1. kafka-topics.sh(主题管理)
-
用途:创建、查看、删除 Topic,管理分区和副本。
-
常用子命令:
创建 Topic(指定分区数、副本因子)
kafka-topics.sh --bootstrap-server broker:port --create --topic <topic_name> --partitions --replication-factor
列出所有 Topic
kafka-topics.sh --bootstrap-server broker:port --list
查看 Topic 详细信息(分区、副本分布、ISR 等)
kafka-topics.sh --bootstrap-server broker:port --describe --topic <topic_name>
删除 Topic
kafka-topics.sh --bootstrap-server broker:port --delete --topic <topic_name>
kafka-console-producer.sh
(控制台生产者)
-
用途:向指定 Topic 发送测试消息。
-
常用参数:
发送普通文本消息
kafka-console-producer.sh --bootstrap-server broker:port --topic <topic_name>
指定消息 Key(配合 parse.key 使用)
kafka-console-producer.sh --bootstrap-server broker:port --topic <topic_name> --property "parse.key=true" --property "key.separator=:"
3. kafka-console-consumer.sh(控制台消费者)
-
用途:消费指定 Topic 的消息。
-
常用参数:
消费最新消息(从头开始加 --from-beginning)
kafka-console-consumer.sh --bootstrap-server broker:port --topic <topic_name>
显示消息 Key 和 Value
kafka-console-consumer.sh --bootstrap-server broker:port --topic <topic_name> --property print.key=true
指定消费者组(避免重复消费)
kafka-console-consumer.sh --bootstrap-server broker:port --topic <topic_name> --group <group_id>
4. kafka-consumer-groups.sh(消费者组管理)
-
用途:查看消费者组状态、重置 Offset。
-
常用子命令:
列出所有消费者组
kafka-consumer-groups.sh --bootstrap-server broker:port --list
查看消费者组详情(Lag、Offset 等)
kafka-consumer-groups.sh --bootstrap-server broker:port --describe --group <group_id>
重置 Offset 到指定位置(如 earliest、latest 或特定值)
kafka-consumer-groups.sh --bootstrap-server broker:port --group <group_id> --topic <topic_name> --reset-offsets --to-earliest --execute
5. kafka-configs.sh(动态配置管理)
-
用途:修改 Topic、Broker 或客户端的动态配置。
-
常用子命令:
查看 Topic 的配置
kafka-configs.sh --bootstrap-server broker:port --entity-type topics --entity-name <topic_name> --describe
修改 Topic 的消息保留时间
kafka-configs.sh --bootstrap-server broker:port --entity-type topics --entity-name <topic_name> --alter --add-config retention.ms=86400000
kafka-acls.sh
(权限管理)
-
用途:管理 Kafka 的访问控制列表(ACL)。
-
常用子命令:
授予生产者权限
kafka-acls.sh --bootstrap-server broker:port --add --allow-principal User: --producer --topic <topic_name>
授予消费者权限
kafka-acls.sh --bootstrap-server broker:port --add --allow-principal User: --consumer --topic <topic_name> --group <group_id>
二、集群管理命令
1. kafka-server-start.sh(启动 Broker)
-
用途:启动 Kafka Broker 服务。
-
常用方式:
指定配置文件启动
kafka-server-start.sh /path/to/server.properties
2. kafka-reassign-partitions.sh(分区重分配)
-
用途:手动调整分区副本分布(如扩容、节点下线)。
生成分区重分配计划(JSON 格式)
kafka-reassign-partitions.sh --bootstrap-server broker:port --generate --topics-to-move-json-file <plan.json> --broker-list "0,1,2"
执行重分配
kafka-reassign-partitions.sh --bootstrap-server broker:port --execute --reassignment-json-file <plan.json>
三、调试与监控
1. kafka-dump-log.sh(日志分析)
-
用途:解析分区日志文件(查看消息内容)。
-
常用参数:
查看某个分区日志的头部和尾部消息
kafka-dump-log.sh --files /path/to/partition-log-00000 --print-data-log
2. kafka-producer-perf-test.sh(生产者压测)
-
用途:测试生产者吞吐量。
-
常用参数:
kafka-producer-perf-test.sh --topic <topic_name> --num-records 100000 --record-size 1000 --throughput 1000 --producer-props bootstrap.servers=broker:port
总结
-
最常用命令 :
kafka-topics.sh
,kafka-console-producer.sh
,kafka-console-consumer.sh
,kafka-consumer-groups.sh
,kafka-configs.sh
,kafka-server-start.sh
. -
关键参数 :
--bootstrap-server
(新版替代--zookeeper
)、--describe
、--alter
、--reset-offsets
。
运维小路
一个不会开发的运维!一个要学开发的运维!一个学不会开发的运维!欢迎大家骚扰的运维!
关注微信公众号《运维小路》获取更多内容。