本地windows搭建kafka

记录一下在window环境下搭建kafka的情况,说简单也简单,说不简单也不简单。在搭建的过程遇到过几个问题。

下载安装包

这里下载的是kafka_2.13-3.4.1
https://archive.apache.org/dist/kafka/3.4.1/kafka_2.13-3.4.1.tgz

正常情况下会下载比较慢

解压安装包及做简单配置

在解压的文件夹下新建data和kafka-logs文件夹

在config目录下的server.properties和zookeeper.properties分别配置

server.properties中配置log.dirs=D:\software\kafka_2.13-3.4.1\kafka-logs

zookeeper.properties中配置dataDir=D:\software\kafka_2.13-3.4.1\data

后面发现并没有按照配置生成,先不研究了什么原因了,能用就行吧~

启动服务

先启动zookeeper

bash 复制代码
.\bin\windows\zookeeper-server-start.bat  .\config\zookeeper.properties

正常会看到binding to port...... 不关闭页面

启动Kafka

bash 复制代码
.\bin\windows\kafka-server-start.bat .\config\server.properties

启动成功后会有complete字眼打出

创建测试topic

bash 复制代码
.\bin\windows\kafka-topics.bat --create --bootstrap-server localhost:9092 --replication-factor 1 --partitions 1 --topic test

启动生产者

bash 复制代码
.\bin\windows\kafka-console-producer.bat --bootstrap-server localhost:9092 --topic test

启动消费者

bash 复制代码
.\bin\windows\kafka-console-consumer.bat --bootstrap-server localhost:9092 --topic test --from-beginning

在创建消费者的过程中出现这个错误java.io.IOException: Map failed

去调整kafka-server-start.bat文件中参数,根据电脑版本32位还是64位的,这里将64位的地方1G修改为了256M,再去启动消费者,就没有错误了

一些其他命令

shell 复制代码
// 查看所有的group
./kafka-consumer-groups.sh --bootstrap-server localhost:9092 --list
// 查看指定group
./kafka-consumer-groups.sh --bootstrap-server localhost:9092 --group [group-name] --describe

// 查看topic列表
./kafka-topics.sh --zookeeper localhost:9092 --list
// 查看指定topic详情
./kafka-topics.sh --zookeeper localhost:9092 --topic [topic] --describe
// 删除topic
kafka-topics.sh --delete --bootstrap-server localhost:9092 --topic test

Tips:

在cmd中窗口中发送中文字符,在消费者端接收的是乱码,是因为cmd窗口是gbk编码导致的

相关推荐
无风听海25 分钟前
在 ASP.NET Core 开发环境中为自定义域名签发受信任的自签名证书—HSTS 启用后的完整实践
windows·后端·asp.net
Ztopcloud极拓云视角1 小时前
我用AI辅助做了一个多端工具:解决2026世界杯回放被剧透的问题
人工智能·windows·个人开发
love530love1 小时前
2026年终极防坑指南:基于 EPGF 架构彻底“本地化” UV 环境与工具
人工智能·windows·python·架构·devops·uv·epgf
虾壳云官方1 小时前
【本地 AI 自动化最新工具】 OpenClaw 2.7.9 Windows 完整部署教程(包含安装包)
人工智能·windows·openclaw·openclaw安装·openclaw一键部署
lzjava20241 小时前
Python的数据结构,推导式、迭代器和生成器
数据结构·windows·python
接着奏乐接着舞2 小时前
springboot mp mybatis plaus
windows·spring boot·mybatis
程序员佳佳2 小时前
四个月长期实测:自建 Milvus、FAISS、原生向量 API 和向量引擎中转方案,到底怎么选?
人工智能·windows·python·gpt·milvus·faiss
吠品3 小时前
.NET 8 单文件发布:把 exe 和一堆 dll 打进一个文件里
服务器·数据库·windows
hikktn3 小时前
Excel 日期格式统一治理:从“显示不全“到“自动兼容“的完整方案
windows·python·excel
caimouse3 小时前
Reactos 第 6 章 进程间通信 — 6.8 本地过程调用(LPC)与 6.9 视窗报文(Message)
windows