学习kafka和flink

kafka

kafka安装一套流程

方法一:启动需安装zookeeper和kafka

【Kafka】Windows下安装Kafka(图文记录详细步骤)

安装Tzq@2018写的上面链接安装的,一切很顺利,除了zookeeper的环境变量不管如何配置都不管用,只能手动双击zkServer.cmd启动zookeeper了

方法二:启动只需安装kafka
复制代码
首先通过上面链接下载kafka压缩包,解压到D盘(其他盘也可以)根目录下
如D:\kafkaCluster

将解压得到的文件夹命名为kafka-zookeeper(这是因为3.5版本以上自带了zookeeper启动,只是需要一些额外配置)

最后,我们会得到这样一个文件

修改kafka-zookeeper/config/zookeeper.properties中dataDir=后面的路径,改为D:\kafkaCluster\kafka-zookeeper\logs\zk(这里的路径都是基于上面kafka解压后的路径,大家如果想要修改的可以自行全部替换)

接着将kafka-zookeeper文件夹复制三份,分别重命名为kafka-broker-1、kafka-broker-2、kafka-broker-3,得到如下文件结构

接下来以kafka-broker-1举例进行如下操作,这些操作均要在kafka-broker-2、kafka-broker-3中进行

在D:\kafkaCluster\kafka-broker-1下创建logs文件夹

接着进入D:\kafkaCluster\kafka-broker-1\config,打开server.properties

修改broker.id=0改为broker.id=1

在#listeners=PLAINTEXT://:9092下面新增一行

listeners=PLAINTEXT://localhost:9091

将"log.dirs="后面的内容改为D:\kafkaCluster\kafka-broker-1\logs

同理,在kafka-broker-2中,id改为2,9092,kafka-broker-2;在kafka-broker-3中,id改为3,9093,kafka-broker-3

最后封装启动代码

在D:\kafkaCluster目录下新建

cluster.cmd

将以下内容复制进去

复制代码
cd kafka-zookeeper
start zk.cmd
ping 127.0.0.1 -n 10 >nul
cd ../kafka-broker-1
start kfk.cmd
cd ../kafka-broker-2
start kfk.cmd
cd ../kafka-broker-3
start kfk.cmd

在D:\kafkaCluster目录下新建

cluster-clear.cmd

将以下内容复制进去

复制代码
cd kafka-zookeeper
rd /s /q data
cd ../kafka-broker-1
rd /s /q data
cd ../kafka-broker-2
rd /s /q data
cd ../kafka-broker-3

第一次启动时将前面创建的所有logs和zk文件夹保持为空文件夹状态

启动时,双击cluster.cmd,等几秒就成功了

启动第一秒出现如下内容

等几秒会出现

说明启动成功!

相关推荐
java叶新东老师2 小时前
git stash 命令详解
linux·运维·flink
GEM的左耳返4 小时前
Java面试全攻略:Spring生态与微服务架构实战
spring boot·redis·spring cloud·微服务·kafka·java面试
遇见尚硅谷4 小时前
C语言:*p++与p++有何区别
c语言·开发语言·笔记·学习·算法
艾莉丝努力练剑5 小时前
【数据结构与算法】数据结构初阶:详解排序(二)——交换排序中的快速排序
c语言·开发语言·数据结构·学习·算法·链表·排序算法
jz_ddk5 小时前
[HarmonyOS] 鸿蒙LiteOS-A内核深度解析 —— 面向 IoT 与智能终端的“小而强大”内核
物联网·学习·华为·harmonyos
试着5 小时前
零基础学习性能测试第五章:Tomcat的性能分析与调优-Tomcat原理,核心配置项,性能瓶颈分析,调优
学习·零基础·tomcat·性能测试
老虎06276 小时前
JavaWeb(苍穹外卖)--学习笔记13(微信小程序开发,缓存菜品,Spring Cache)
笔记·学习·微信小程序
@蓝莓果粒茶7 小时前
LeetCode第350题_两个数组的交集II
c++·python·学习·算法·leetcode·职场和发展·c#
不辉放弃7 小时前
kafka的消费者负载均衡机制
数据库·分布式·kafka·负载均衡
无名工程师7 小时前
AI 学习过程中各阶段的学习重点、时间规划以及不同方向的选择与建议等内容
人工智能·学习