作者介绍：简历上没有一个精通的运维工程师。请点击上方的蓝色《运维小路》关注我，下面的思维导图也是预计更新的内容和当前进度(不定时更新)。
我们上一章介绍了中间件：Zookeeper，本章将介绍另外一个中间件：Kafka。目前这2个中间件都是基于JAVA语言的。
对于运维来说，一个正常的Kafka的集群，一般情况下我们是不需要去操作ZooKeeper来维护它的集群状态的。我们对Kafka的操作，大部分都通过Kafka自带的脚本来操作它，下面我们就来介绍下使用较多的命令。（部分命令在前面的操作里面已经有演示）。
yaml
#下面都是默认自带的脚本
#根据环境和需求不一样，大部分我们都用不到，我们最常用就那么几个
[root@localhost ~]# ll /root/kafka_2.13-2.8.2/bin/
total 156
-rwxr-xr-x 1 root root 1423 Sep 2 2022 connect-distributed.sh
-rwxr-xr-x 1 root root 1396 Sep 2 2022 connect-mirror-maker.sh
-rwxr-xr-x 1 root root 1420 Sep 2 2022 connect-standalone.sh
-rwxr-xr-x 1 root root 861 Sep 2 2022 kafka-acls.sh
-rwxr-xr-x 1 root root 873 Sep 2 2022 kafka-broker-api-versions.sh
-rwxr-xr-x 1 root root 860 Sep 2 2022 kafka-cluster.sh
-rwxr-xr-x 1 root root 864 Sep 2 2022 kafka-configs.sh
-rwxr-xr-x 1 root root 945 Sep 2 2022 kafka-console-consumer.sh
-rwxr-xr-x 1 root root 944 Sep 2 2022 kafka-console-producer.sh
-rwxr-xr-x 1 root root 871 Sep 2 2022 kafka-consumer-groups.sh
-rwxr-xr-x 1 root root 948 Sep 2 2022 kafka-consumer-perf-test.sh
-rwxr-xr-x 1 root root 871 Sep 2 2022 kafka-delegation-tokens.sh
-rwxr-xr-x 1 root root 869 Sep 2 2022 kafka-delete-records.sh
-rwxr-xr-x 1 root root 866 Sep 2 2022 kafka-dump-log.sh
-rwxr-xr-x 1 root root 863 Sep 2 2022 kafka-features.sh
-rwxr-xr-x 1 root root 870 Sep 2 2022 kafka-leader-election.sh
-rwxr-xr-x 1 root root 863 Sep 2 2022 kafka-log-dirs.sh
-rwxr-xr-x 1 root root 873 Sep 2 2022 kafka-metadata-shell.sh
-rwxr-xr-x 1 root root 862 Sep 2 2022 kafka-mirror-maker.sh
-rwxr-xr-x 1 root root 886 Sep 2 2022 kafka-preferred-replica-election.sh
-rwxr-xr-x 1 root root 959 Sep 2 2022 kafka-producer-perf-test.sh
-rwxr-xr-x 1 root root 874 Sep 2 2022 kafka-reassign-partitions.sh
-rwxr-xr-x 1 root root 874 Sep 2 2022 kafka-replica-verification.sh
-rwxr-xr-x 1 root root 10329 Sep 2 2022 kafka-run-class.sh
-rwxr-xr-x 1 root root 1376 Sep 2 2022 kafka-server-start.sh
-rwxr-xr-x 1 root root 1361 Sep 2 2022 kafka-server-stop.sh
-rwxr-xr-x 1 root root 860 Sep 2 2022 kafka-storage.sh
-rwxr-xr-x 1 root root 945 Sep 2 2022 kafka-streams-application-reset.sh
-rwxr-xr-x 1 root root 863 Sep 2 2022 kafka-topics.sh
-rwxr-xr-x 1 root root 958 Sep 2 2022 kafka-verifiable-consumer.sh
-rwxr-xr-x 1 root root 958 Sep 2 2022 kafka-verifiable-producer.sh
-rwxr-xr-x 1 root root 1714 Sep 2 2022 trogdor.sh
drwxr-xr-x 2 root root 4096 Sep 2 2022 windows
-rwxr-xr-x 1 root root 867 Sep 2 2022 zookeeper-security-migration.sh
-rwxr-xr-x 1 root root 1393 Sep 2 2022 zookeeper-server-start.sh
-rwxr-xr-x 1 root root 1366 Sep 2 2022 zookeeper-server-stop.sh
-rwxr-xr-x 1 root root 1019 Sep 2 2022 zookeeper-shell.sh一.基本操作
1. kafka-topics.sh（主题管理）
-
用途：创建、查看、删除 Topic，管理分区和副本。
-
常用子命令：
创建 Topic（指定分区数、副本因子）
kafka-topics.sh --bootstrap-server broker:port --create --topic <topic_name> --partitions --replication-factor
列出所有 Topic
kafka-topics.sh --bootstrap-server broker:port --list
查看 Topic 详细信息（分区、副本分布、ISR 等）
kafka-topics.sh --bootstrap-server broker:port --describe --topic <topic_name>
删除 Topic
kafka-topics.sh --bootstrap-server broker:port --delete --topic <topic_name>
kafka-console-producer.sh（控制台生产者）
-
用途：向指定 Topic 发送测试消息。
-
常用参数：
发送普通文本消息
kafka-console-producer.sh --bootstrap-server broker:port --topic <topic_name>
指定消息 Key（配合 parse.key 使用）
kafka-console-producer.sh --bootstrap-server broker:port --topic <topic_name> --property "parse.key=true" --property "key.separator=:"
3. kafka-console-consumer.sh（控制台消费者）
-
用途：消费指定 Topic 的消息。
-
常用参数：
消费最新消息（从头开始加 --from-beginning）
kafka-console-consumer.sh --bootstrap-server broker:port --topic <topic_name>
显示消息 Key 和 Value
kafka-console-consumer.sh --bootstrap-server broker:port --topic <topic_name> --property print.key=true
指定消费者组（避免重复消费）
kafka-console-consumer.sh --bootstrap-server broker:port --topic <topic_name> --group <group_id>
4. kafka-consumer-groups.sh（消费者组管理）
-
用途：查看消费者组状态、重置 Offset。
-
常用子命令：
列出所有消费者组
kafka-consumer-groups.sh --bootstrap-server broker:port --list
查看消费者组详情（Lag、Offset 等）
kafka-consumer-groups.sh --bootstrap-server broker:port --describe --group <group_id>
重置 Offset 到指定位置（如 earliest、latest 或特定值）
kafka-consumer-groups.sh --bootstrap-server broker:port --group <group_id> --topic <topic_name> --reset-offsets --to-earliest --execute
5. kafka-configs.sh（动态配置管理）
-
用途：修改 Topic、Broker 或客户端的动态配置。
-
常用子命令：
查看 Topic 的配置
kafka-configs.sh --bootstrap-server broker:port --entity-type topics --entity-name <topic_name> --describe
修改 Topic 的消息保留时间
kafka-configs.sh --bootstrap-server broker:port --entity-type topics --entity-name <topic_name> --alter --add-config retention.ms=86400000
kafka-acls.sh（权限管理）
-
用途：管理 Kafka 的访问控制列表（ACL）。
-
常用子命令：
授予生产者权限
kafka-acls.sh --bootstrap-server broker:port --add --allow-principal User: --producer --topic <topic_name>
授予消费者权限
kafka-acls.sh --bootstrap-server broker:port --add --allow-principal User: --consumer --topic <topic_name> --group <group_id>
二、集群管理命令
1. kafka-server-start.sh（启动 Broker）
-
用途：启动 Kafka Broker 服务。
-
常用方式：
指定配置文件启动
kafka-server-start.sh /path/to/server.properties
2. kafka-reassign-partitions.sh（分区重分配）
-
用途：手动调整分区副本分布（如扩容、节点下线）。
生成分区重分配计划（JSON 格式）
kafka-reassign-partitions.sh --bootstrap-server broker:port --generate --topics-to-move-json-file <plan.json> --broker-list "0,1,2"
执行重分配
kafka-reassign-partitions.sh --bootstrap-server broker:port --execute --reassignment-json-file <plan.json>
三、调试与监控
1. kafka-dump-log.sh（日志分析）
-
用途：解析分区日志文件（查看消息内容）。
-
常用参数：
查看某个分区日志的头部和尾部消息
kafka-dump-log.sh --files /path/to/partition-log-00000 --print-data-log
2. kafka-producer-perf-test.sh（生产者压测）
-
用途：测试生产者吞吐量。
-
常用参数：
kafka-producer-perf-test.sh --topic <topic_name> --num-records 100000 --record-size 1000 --throughput 1000 --producer-props bootstrap.servers=broker:port
总结
-
最常用命令 ：
kafka-topics.sh,kafka-console-producer.sh,kafka-console-consumer.sh,kafka-consumer-groups.sh,kafka-configs.sh,kafka-server-start.sh. -
关键参数 ：
--bootstrap-server（新版替代--zookeeper）、--describe、--alter、--reset-offsets。
运维小路
一个不会开发的运维！一个要学开发的运维！一个学不会开发的运维！欢迎大家骚扰的运维！
关注微信公众号《运维小路》获取更多内容。