windows系统搭建kafka环境

kafka内置zk，因此没必要安装zk。

kafka.apache.org/community/d...

1.修改zookeeper.properties文件

js 复制代码

dataDir=E:/kafka_2.12-3.6.1/data/zk

2.修改server.properties文件

js 复制代码

log.dirs=e:/kafka/data/kafka

3.配置zk.cmd

js 复制代码

call bin/windows/kafka-server-start.bat config/server.properties

4.配置kafka.cmd

js 复制代码

call bin/windows/zookeeper-server-start.bat config/zookeeper.properties

5.一些常用的命令

js 复制代码

kafka-topics.bat 相关

 --bootstrap-server : 把当前的DOS窗口当成Kafka的客户端
 --create : 表示对主题的创建操作，是个操作参数，后面无需增加参数值
 --topic : 主题的名称
 --list : 表示对所有主题的查询操作，是个操作参数，后面无需增加参数值
 --describe : 查看主题的详细信息
 --alter : 表示对所有主题的查询操作，是个操作参数，后面无需增加参数值
--partitions : 修改的配置参数：分区数量
 --delete: 表示对主题的删除操作，是个操作参数，后面无需增加参数值。默认情况下，删除操作是逻辑删除，也就是说数据存储的文件依然存在，
但是通过指令查询不出来。如果想要直接删除，需要在server.properties文件中设置参数delete.topic.enable=true

kafka-topics.bat --bootstrap-server localhost:9092 --create --topic test
kafka-topics.bat --bootstrap-server localhost:9092 --list
kafka-topics.bat --bootstrap-server localhost:9092 --describe --topic test
kafka-topics.bat --bootstrap-server localhost:9092 --topic test --alter --partitions 2
kafka-topics.bat --bootstrap-server localhost:9092 --topic test --delete

notice:
windows系统中由于权限或进程锁定的问题，删除topic会导致kafka服务节点异常关闭。

kafka-console-producer.bat 相关

kafka-console-producer.bat --bootstrap-server localhost:9092 --topic test

typing message you want to send

kafka-console-consumer.bat 相关

--from-beginning : 从第一条数据开始消费，无参数值，是一个标记参数

kafka-console-consumer.bat --bootstrap-server localhost:9092 --topic test --from-beginning

6.windows端模拟集群服务的搭建

js 复制代码

解压kafka_2.12-3.6.1.tgz 分别生成4个文件夹 node-1,node-2,node-3,zookeeper


node-1 修改server.properties
broker.id=1
listeners=PLAINTEXT://:9091 log.dirs=E:/kafka/node-1/data zookeeper.connect=localhost:2181/kafka

node-2 修改server.properties 
broker.id=2 
listeners=PLAINTEXT://:9092 log.dirs=E:/kafka/node-2/data zookeeper.connect=localhost:2181/kafka

node-3 修改server.properties
broker.id=3 
listeners=PLAINTEXT://:9093 log.dirs=E:/kafka/node-3/data zookeeper.connect=localhost:2181/kafka


zookeeper文件夹添加zk.cmd
zk.cmd内容：
call bin/windows/zookeeper-server-start.bat config/zookeeper.properties



node-1 node-2 node-3 添加kafka.cmd
kafka.cmd内容：
call bin/windows/kafka-server-start.bat config/server.properties

node-1 同级别路径添加cluster.cmd cluster-clear.cmd

7.cluster.cmd

js 复制代码

cd zookeeper
start zk.cmd
ping 127.0.0.1 -n 10 >nul
cd ../node-1
start kafka.cmd
cd ../node-2
start kafka.cmd
cd ../node-3
start kafka.cmd

8.cluster-clear.cmd

js 复制代码

cd zookeeper
rd /s /q data
cd ../node-1
rd /s /q data
cd ../node-2
rd /s /q data
cd ../node-3
rd /s /q data