学习kafka和flink

kafka

kafka安装一套流程

方法一:启动需安装zookeeper和kafka

【Kafka】Windows下安装Kafka(图文记录详细步骤)

安装Tzq@2018写的上面链接安装的,一切很顺利,除了zookeeper的环境变量不管如何配置都不管用,只能手动双击zkServer.cmd启动zookeeper了

方法二:启动只需安装kafka
复制代码
首先通过上面链接下载kafka压缩包,解压到D盘(其他盘也可以)根目录下
如D:\kafkaCluster

将解压得到的文件夹命名为kafka-zookeeper(这是因为3.5版本以上自带了zookeeper启动,只是需要一些额外配置)

最后,我们会得到这样一个文件

修改kafka-zookeeper/config/zookeeper.properties中dataDir=后面的路径,改为D:\kafkaCluster\kafka-zookeeper\logs\zk(这里的路径都是基于上面kafka解压后的路径,大家如果想要修改的可以自行全部替换)

接着将kafka-zookeeper文件夹复制三份,分别重命名为kafka-broker-1、kafka-broker-2、kafka-broker-3,得到如下文件结构

接下来以kafka-broker-1举例进行如下操作,这些操作均要在kafka-broker-2、kafka-broker-3中进行

在D:\kafkaCluster\kafka-broker-1下创建logs文件夹

接着进入D:\kafkaCluster\kafka-broker-1\config,打开server.properties

修改broker.id=0改为broker.id=1

在#listeners=PLAINTEXT://:9092下面新增一行

listeners=PLAINTEXT://localhost:9091

将"log.dirs="后面的内容改为D:\kafkaCluster\kafka-broker-1\logs

同理,在kafka-broker-2中,id改为2,9092,kafka-broker-2;在kafka-broker-3中,id改为3,9093,kafka-broker-3

最后封装启动代码

在D:\kafkaCluster目录下新建

cluster.cmd

将以下内容复制进去

复制代码
cd kafka-zookeeper
start zk.cmd
ping 127.0.0.1 -n 10 >nul
cd ../kafka-broker-1
start kfk.cmd
cd ../kafka-broker-2
start kfk.cmd
cd ../kafka-broker-3
start kfk.cmd

在D:\kafkaCluster目录下新建

cluster-clear.cmd

将以下内容复制进去

复制代码
cd kafka-zookeeper
rd /s /q data
cd ../kafka-broker-1
rd /s /q data
cd ../kafka-broker-2
rd /s /q data
cd ../kafka-broker-3

第一次启动时将前面创建的所有logs和zk文件夹保持为空文件夹状态

启动时,双击cluster.cmd,等几秒就成功了

启动第一秒出现如下内容

等几秒会出现

说明启动成功!

相关推荐
大大大大晴天10 小时前
Flink生产问题排障-Kryo serializer scala extensions are not available
大数据·flink
DemonAvenger3 天前
Kafka性能调优:从参数配置到硬件选择的全方位指南
性能优化·kafka·消息队列
西岸行者4 天前
学习笔记:SKILLS 能帮助更好的vibe coding
笔记·学习
悠哉悠哉愿意4 天前
【单片机学习笔记】串口、超声波、NE555的同时使用
笔记·单片机·学习
别催小唐敲代码4 天前
嵌入式学习路线
学习
毛小茛4 天前
计算机系统概论——校验码
学习
babe小鑫4 天前
大专经济信息管理专业学习数据分析的必要性
学习·数据挖掘·数据分析
winfreedoms4 天前
ROS2知识大白话
笔记·学习·ros2
在这habit之下4 天前
Linux Virtual Server(LVS)学习总结
linux·学习·lvs
我想我不够好。4 天前
2026.2.25监控学习
学习