【Kafka】Windows下安装Kafka(全面)

目录

1.前提条件

2.下载

3.安装

4.环境变量配置

5.验证

1.前提条件

1.先安装zookeeper:

【Zookeeper】Windows下安装Zookeeper(全面)-CSDN博客https://blog.csdn.net/weixin_57259781/article/details/141679454

2.还需要安装scala:

【Scala】Windows下安装Scala(全面)-CSDN博客https://blog.csdn.net/weixin_57259781/article/details/141673648

2.下载

下载链接:

Index of /kafka (apache.org)https://downloads.apache.org/kafka/选择合适的版本下载.tgz文件:

3.安装

下载的压缩包解压两次得到文件夹:该文件夹的路径也就是kafka的安装路径

在目录下添加一个新的空的文件夹,名字为logs

修改config目录下的配置文件server.properties

修改 log.dirs 参数值,修改成上一步新建的logs文件夹。注意文件夹路径中是双左斜杠

继续在改配置文件中修改listeners 参数的值为:

listeners=PLAINTEXT://localhost:9092

4.启动

因为Kafka依赖于Zookeeper,所以要先启动Zookeeper,再启动Kafka。

4.1启动Zookeeper服务

到zookeeper安装路径下bin目录下双击zkServer.cmd文件:

显示如下信息,则表示Zookeeper服务正常运行:

4.2启动kafka服务

到kafka的安装目录下进入cmd窗口:

输入命令启动kafka:

.\bin\windows\kafka-server-start.bat .\config\server.properties

我的输入命令后报错如下:

报错原因:因为目录层级太深或者是目录名字太长导致的。我们需要把文件夹移动到一个层级浅一点的位置:

我从位置:D:\Users\125715\tools\kafka\kafka\kafka_2.12-3.5.1移动到:D:\Users\125715\tools\kafka\3.5.1,并且修改config目录下的配置文件server.properties中的 log.dirs 参数值

继续重新启动kafka:在命令行输入命令上述命令,出现如下则表示成功:

5.验证

总体思路:创建主题topics,生产者向topics中推送消息,消费者从topics中读取消息。

首先进入自己的kafka安装路径的bin目录下的window目录下,我的安装目录为: D:\Users\125715\tools\kafka\3.5.1\bin\windows

然后我们来了解一下需要用到的几个脚本执行文件:

5.1创建查看topics

命令如下:

#创建topics,--topic后为topic名称,--replication-factor为副本数量,partitions 为分区数量
kafka-topics.bat --create --bootstrap-server localhost:9092 --replication-factor 1 --partitions 1 --topic kafkatest

#查看所有的topics
kafka-topics.bat --bootstrap-server localhost:9092 --list

创建主题:在bin目录的windows目录下添加CMD窗口,并输入上述创建topics的命令,如下创建主题kafkatest成功:

查看主题kafkatest:

5.2producer(生产者)发送消息

向刚刚创建的主题kafkatest里面发送消息的命令:

kafka-console-producer.bat --broker-list localhost:9092 --topic kafkatest

向topics为kafkatest中发送消息:

5.3consumer(消费者)消费消息

重新在同一个目录下打开一个新的cmd窗口,并执行如下命令:

kafka-console-consumer.bat --bootstrap-server localhost:9092 --topic kafkatest --from-beginning

输入命令后可以查看到接收到消息了,但是是乱码,如果收不到消息,可以仔细查看生产者和消费者对应的topics是否为同一个。如果继续在生产者窗口输入消息,然后回车:

再查看消费者窗口,发现消息很快被消费者消费了:

6.乱码解决永久

打开config目录下的配置文件:

在文件中查找producer.encoding属性,若能找到就设置值为:UTF-8,我的找不到就添加配置:

producer.encoding=UTF-8

如下:

保存文件然后重启kafka:

重启后可查看刚刚创建的topic还存在:

相关推荐
激流丶3 小时前
【Kafka 实战】Kafka 如何保证消息的顺序性?
java·后端·kafka
谭震鸿3 小时前
Zookeeper集群搭建Centos环境下
分布式·zookeeper·centos
天冬忘忧8 小时前
Kafka 工作流程解析:从 Broker 工作原理、节点的服役、退役、副本的生成到数据存储与读写优化
大数据·分布式·kafka
工业甲酰苯胺10 小时前
Python脚本消费多个Kafka topic
开发语言·python·kafka
B站计算机毕业设计超人12 小时前
计算机毕业设计SparkStreaming+Kafka新能源汽车推荐系统 汽车数据分析可视化大屏 新能源汽车推荐系统 汽车爬虫 汽车大数据 机器学习
数据仓库·爬虫·python·数据分析·kafka·数据可视化·推荐算法
IT枫斗者13 小时前
如何解决Java EasyExcel 导出报内存溢出
java·服务器·开发语言·网络·分布式·物联网
谷大羽13 小时前
Kafka Stream实战教程
spring boot·后端·中间件·kafka·stream
求积分不加C13 小时前
Kafka怎么发送JAVA对象并在消费者端解析出JAVA对象--示例
java·分布式·kafka·linq
GDDGHS_14 小时前
“Kafka面试攻略:核心问题与高效回答”
分布式·面试·kafka
宋发元15 小时前
Go语言使用 kafka-go 消费 Kafka 消息教程
golang·kafka·linq