Windows 系统上安装和使用 Apache Kafka记录

1. 安装前提​​

  • ​​Java 环境​​:Kafka 需要 Java 8 或更高版本。

    • 检查是否安装:java -version
    • 若未安装,下载并安装 JDK。本记录使用JDK21

2. 下载 Kafka​​

  • 从官网下载二进制包:
    Apache Kafka 下载页

    • 选择 ​Scala 2.13​ 版本的 .tgz 文件(如 kafka_2.13-3.6.1.tgz)。
    • 本记录使用3.6.1版本
  • 解压到本地目录(如 D:\work\kafka\kafka_2.13)

3. 配置 Kafka​​

  • ​修改配置文件​ :
    进入 D:\work\kafka\kafka_2.13\config 目录,编辑以下文件:

- ​​server.properties​​(Kafka 服务端配置):

go 复制代码
    ```
    log.dirs=D:/work/kafka/kafka-logs  # 日志存储路径(需手动创建文件夹)
    ```

-   ​**​`zookeeper.properties`​**​(ZooKeeper 配置):

    ```
    dataDir=D:/work/kafka/kafka-cluster/broker1/data  # ZooKeeper 数据目录(需手动创建文件夹)
    ```
    

​4. 启动服务​​

Kafka 依赖 ZooKeeper,需先启动 ZooKeeper,再启动 Kafka。

​​步骤 1:启动 ZooKeeper​​

​​在D:\work\kafka\kafka_2.13目录下,右键【在终端中打开】打开窗口01​​,运行:

arduino 复制代码
bin\windows\zookeeper-server-start.bat config\zookeeper.properties

​​步骤 2:启动 Kafka​​

在D:\work\kafka\kafka_2.13目录下,右键【在终端中打开】另开一个命令提示符窗口02,运行:

vbscript 复制代码
bin\windows\kafka-server-start.bat config\server.properties

补充:win11可能无法运行,会提示wmic不是内部或外部命令

这需要修改kafka-server-start.bat文件。

对照修改后参考图修改内容

arduino 复制代码
    rem 64-bit OS
    set KAFKA_HEAP_OPTS=-Xmx1G -Xms1G

​5. 测试 Kafka​​

​​创建主题(Topic)​​

在D:\work\kafka\kafka_2.13目录下,右键【在终端中打开】另开一个命令提示符窗口03,运行:

css 复制代码
bin\windows\kafka-topics.bat --create --topic test --bootstrap-server localhost:9092 --partitions 1 --replication-factor 1

​​启动生产者(Producer)​​

窗口03可以继续执行命令

css 复制代码
bin\windows\kafka-console-producer.bat --topic test --bootstrap-server localhost:9092

​​启动消费者(Consumer)​​

在D:\work\kafka\kafka_2.13目录下,右键【在终端中打开】另开一个命令提示符窗口04,运行:

css 复制代码
bin\windows\kafka-console-consumer.bat --topic test --bootstrap-server localhost:9092 --from-beginning
  • 在 ​生产者窗口​ 输入消息,​消费者窗口​ 应能实时接收。

​​6. 停止服务​​

  1. 在 Kafka 窗口按 Ctrl+C 停止 Kafka。
  2. 在 ZooKeeper 窗口按 Ctrl+C 停止 ZooKeeper。

​​7. kafka视图管理工具​​

本记录使用kafka-console-ui。

启动完成,访问:http://127.0.0.1:7766

还有一些其他使用信息,直接参考kafka-console-ui项目首页提示信息

相关推荐
计算机编程指导师6 小时前
计算机毕设选题推荐:基于Spark+Django的黄金价格历史数据分析与可视化系统源码 毕业设计 选题推荐 毕设选题 数据分析 机器学习
大数据·python·计算机·spark·django·课程设计·黄金价格
weixin_460443566 小时前
在线考试人脸识别如何合规?本地活体检测、人脸模板加密与替代认证的技术架构设计
大数据·数据库·煤矿培训考试系统·煤矿在线考试系统·煤矿安全培训·煤矿考试系统
计算机编程指导师6 小时前
计算机毕设怎么做?基于Spark+Django的股票数据分析与可视化系统实战指导 源码 毕业设计 选题推荐 毕设选题 数据分析 机器学习
大数据·python·spark·django·毕业设计·股票·课程设计
SelectDB6 小时前
冷热分层速查手册:参数、命令、生效判据与常见失效原因一页看完
大数据·数据库·数据分析
troy1287 小时前
Flink 详细介绍与操作全指南:从入门到精通
大数据·flink
SelectDB7 小时前
Doris 日志检索与聚合速查:索引参数、MATCH 写法和验收清单
大数据·数据库·数据分析
计算机编程指导师7 小时前
计算机大数据项目推荐:基于Hadoop+Django的人工智能社交媒体情绪数据分析可视化系统源码 毕业设计 选题推荐 毕设选题 数据分析 机器学习
大数据·hadoop·python·计算机·spark·毕业设计·社交媒体
俊哥大数据7 小时前
Flink 2.3.0 从理论到实践 —— 第 8 章 窗口(Window)
大数据·flink
计算机编程指导师8 小时前
【计算机毕设选题】基于Hadoop的全球企业邮件安全合规数据可视化分析系统源码 毕业设计 选题推荐 毕设选题 数据分析 机器学习
大数据·hadoop·python·数据分析·毕业设计·课程设计·企业邮件
计算机编程指导师8 小时前
【计算机毕设选题】基于Spark的零售交易者行为特征与生存状况数据分析系统源码 毕业设计 选题推荐 数据分析 机器学习
大数据·计算机·数据分析·spark·毕业设计·课程设计·零售