kafka - windows 10 环境安装kafka-2.8.2单机测试环境

下载安装包:https://archive.apache.org/dist/kafka/2.8.2/kafka_2.13-2.8.2.tgz

解压:kafka_2.13-2.8.2.tgz,文件夹更名为:kafka

配置:根据需要配置/config/zookeeper.properties 与 /config/server.properties 等配置文件

启动:

1.先启动zookeeper后kafka

cd kafka\bin\windows

当前目录下打开cmd窗口

zookeeper-server-start.bat ../../config/zookeeper.properties &

2.再启动kafka

kafka-server-start.bat ../../config/server.properties &

2023-06-06 12:34:30,242 INFO KafkaServer id=0 started (kafka.server.KafkaServer)

3.默认端口:

zookeeper端口: 2181

kafka端口:9092

【其他操作】

cd kafka\bin\windows

1.创建、新增topics

kafka-topics.bat --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic {topic-name}

比如:kafka_mq_test

2.查看所有topics

kafka-topics.bat --zookeeper localhost:2181 --list

kafka-topics.bat --zookeeper 127.0.0.1:2181 --list

3.删除topic

kafka-topics.bat --delete --zookeeper localhost:2181 --topic {topic-name}

4.生产者功能测试 - 测试的前提是:必须先创建好一个topic

kafka-console-producer.bat --broker-list 127.0.0.1:9092 --topic {topic-name}

示例:>kafka-console-producer.bat --broker-list 127.0.0.1:9092 --topic topic2023

5.消费者功能测试

kafka-console-consumer.bat --bootstrap-server 127.0.0.1:9092 --topic {topic-name} --from-beginning

示例:>kafka-console-consumer.bat --bootstrap-server 127.0.0.1:9092 --topic topic2023 --from-beginning

【Kafka存储机制】

topic中partition存储分布

partiton中文件存储方式

partiton中segment文件存储结构

在partition中通过offset查找message

可以借助图形化工具快速具象的查看kafka的消息数据,也能便于理解其基本操作流程:

比如:

图形化工具:offsetexplorer

web控制台:kafka manager。

相关推荐
qq_3384323740 分钟前
VSCode Remote-SSH 远程 Windows Server 卡死的排查与解决
windows·vscode·ssh
大佐不会说日语~42 分钟前
在 Windows 本地用 Docker 部署向量模型(bge-m3)
windows·docker·容器·llm·ollama
凡人叶枫1 小时前
Effective C++ 条款37:绝不重新定义继承而来的缺省参数值
linux·c++·windows
ccino .2 小时前
【电脑的睡眠和休眠区别】
windows
极客先躯2 小时前
高级java每日一道面试题-2026年02月12日-实战篇[Docker]-什么是容器的 Seccomp 配置?如何自定义?
java·运维·分布式·docker·容器·自动化·文件
Francek Chen2 小时前
【大数据处理与分析】MapReduce:06 MapReduce编程实践
大数据·hadoop·分布式·mapreduce
小马爱打代码2 小时前
Kafka消息队列监控:Topic积压、吞吐量、Broker负载及消费者组全观测
分布式·kafka
轻口味3 小时前
轻规划鸿蒙开发实战10:分布式数据同步深度博弈,UserId 隔离与并发数据冲突消解机
分布式·华为·harmonyos·鸿蒙
AndyHuang19763 小时前
【避坑指南】Visual Studio 插件报错 “Windows Terminal (wt.exe) was not found in PATH“ 完美解决
ide·windows·visual studio
Solis程序员3 小时前
Raft:分布式系统的定海神针
java·分布式·kafka·rabbitmq·agent·raft