① 下载
下载软件安装包:kafka_2.12-3.6.1.tgz,下载地址:https://kafka.apache.org/downloads
- 这里的3.6.1,是Kafka软件的版本。截至到2023年12月24日,Kafka最新版本为3.6.1。
- 2.12是对应的Scala开发语言版本。Scala2.12和Java8是兼容的,所以可以直接使用。
- tgz是一种linux系统中常见的压缩文件格式,类似与windows系统的zip和rar格式。所以Windows环境中可以直接使用压缩工具进行解压缩。
② 解压
- bin linux系统下可执行脚本文件
- bin/windows windows系统下可执行脚本文件
- config 配置文件
- libs 依赖类库
- licenses 许可信息
- site-docs 文档
- logs 服务日志
注意:默认解压后名字如图所示kafka_2.12-3.6.1,我们这里修改为 kafka3.6.1
③ 启动Zookeeper
当前版本Kafka软件内部依然依赖ZooKeeper进行多节点协调调度,所以启动Kafka软件之前,需要先启动ZooKeeper软件。不过因为Kafka软件本身内置了ZooKeeper软件,所以无需额外安装ZooKeeper软件,直接调用脚本命令启动即可。具体操作步骤如下:
- 进入Kafka解压缩文件夹的config目录,修改zookeeper.properties配置文件
bash
# 修改dataDir配置,用于设置ZooKeeper数据存储位置,该路径如果不存在会自动创建。
dataDir=D:/softinstall/kafka3.6.1/data/zk
- 打开DOS窗口,进入D:\softinstall\kafka3.6.1\bin\windows目录
ZooKeeper软件的指令为Windows环境下的bat批处理文件。调用启动指令时,需要传递配置文件的路径
java
# 因为当前目录为windows,所以需要通过相对路径找到zookeeper的配置文件。
zookeeper-server-start.bat ../../config/zookeeper.properties
- 为了操作方便,也可以在kafka解压缩后的目录中,创建脚本文件zk.cmd。
java
# 调用启动命令,且同时指定配置文件。
call bin/windows/zookeeper-server-start.bat config/zookeeper.properties
data以及里面的两个文件夹均为用户自己创建:
D:\softinstall\kafka3.6.1\data\zk
D:\softinstall\kafka3.6.1\data\kafka
④ 启动kafka
- 进入Kafka解压缩文件夹的config目录,修改server.properties配置文件
java
# 配置Kafka数据的存放位置,如果文件目录不存在,会自动生成。
log.dirs=D:/softinstall/kafka3.6.1/data/kafka
- 打开DOS窗口,进入
D:\softinstall\kafka3.6.1\bin\windows
目录
java
# 因为当前目录为windows,所以需要通过相对路径找到kafka的配置文件。
kafka-server-start.bat ../../config/server.properties
同样我们可以参考上述zk.cmd创建kafka.cmd:
java
# 调用启动命令,且同时指定配置文件。
call bin/windows/kafka-server-start.bat config/server.properties
DOS窗口中,输入jps指令,查看当前启动的软件进程
java
C:\Users\Janus>jps
14308
22696 RemoteMavenServer36
34104 Jps
7160 Launcher
8856 Kafka
17452 QuorumPeerMain
这里名称为QuorumPeerMain的就是ZooKeeper软件进程,名称为Kafka的就是Kafka系统进程。此时,说明Kafka已经可以正常使用了。
启停顺序:
java
启动:Zookeeper-kafka
关闭:kafka-Zookeeper
⑤ Windows下命令行操作kafka
进入D:\softinstall\kafka3.6.1\bin\windows>
目录
创建topic
java
## --topic jane1 表示名称,--create表示动作
kafka-topics.bat --bootstrap-server localhost:9092 --topic jane1 --create
Created topic jane1.
查看已经创建的
java
# 查看已经创建的
kafka-topics.bat --bootstrap-server localhost:9092 --list
jane1
查看某个topic详情
java
kafka-topics.bat --bootstrap-server localhost:9092 --topic jane1 --describe
Topic: jane1 TopicId: 44pIWicuTSeajHriITHyXg PartitionCount: 1 ReplicationFactor: 1 Configs:
Topic: jane1 Partition: 0 Leader: 0 Replicas: 0 Isr: 0
修改topic分区
java
kafka-topics.bat --bootstrap-server localhost:9092 --topic jane1 --alter --partitions 2
#再次查看
kafka-topics.bat --bootstrap-server localhost:9092 --topic jane1 --describe
Topic: jane1 TopicId: 44pIWicuTSeajHriITHyXg PartitionCount: 2 ReplicationFactor: 1 Configs:
Topic: jane1 Partition: 0 Leader: 0 Replicas: 0 Isr: 0
Topic: jane1 Partition: 1 Leader: 0 Replicas: 0 Isr: 0
--topic jane1
表示名称,--create
表示创建:--delete
表示删除--list
表示查看--describe
查看详情- --alter : 表示对所有主题的修改操作