kafka - windows 10 环境安装kafka-2.8.2单机测试环境

下载安装包:https://archive.apache.org/dist/kafka/2.8.2/kafka_2.13-2.8.2.tgz

解压:kafka_2.13-2.8.2.tgz,文件夹更名为:kafka

配置:根据需要配置/config/zookeeper.properties 与 /config/server.properties 等配置文件

启动:

1.先启动zookeeper后kafka

cd kafka\bin\windows

当前目录下打开cmd窗口

zookeeper-server-start.bat ../../config/zookeeper.properties &

2.再启动kafka

kafka-server-start.bat ../../config/server.properties &

2023-06-06 12:34:30,242 INFO KafkaServer id=0 started (kafka.server.KafkaServer)

3.默认端口:

zookeeper端口: 2181

kafka端口:9092

【其他操作】

cd kafka\bin\windows

1.创建、新增topics

kafka-topics.bat --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic {topic-name}

比如:kafka_mq_test

2.查看所有topics

kafka-topics.bat --zookeeper localhost:2181 --list

kafka-topics.bat --zookeeper 127.0.0.1:2181 --list

3.删除topic

kafka-topics.bat --delete --zookeeper localhost:2181 --topic {topic-name}

4.生产者功能测试 - 测试的前提是:必须先创建好一个topic

kafka-console-producer.bat --broker-list 127.0.0.1:9092 --topic {topic-name}

示例:>kafka-console-producer.bat --broker-list 127.0.0.1:9092 --topic topic2023

5.消费者功能测试

kafka-console-consumer.bat --bootstrap-server 127.0.0.1:9092 --topic {topic-name} --from-beginning

示例:>kafka-console-consumer.bat --bootstrap-server 127.0.0.1:9092 --topic topic2023 --from-beginning

【Kafka存储机制】

topic中partition存储分布

partiton中文件存储方式

partiton中segment文件存储结构

在partition中通过offset查找message

可以借助图形化工具快速具象的查看kafka的消息数据,也能便于理解其基本操作流程:

比如:

图形化工具:offsetexplorer

web控制台:kafka manager。

相关推荐
zandy10112 小时前
体验家 XMPlus 问卷答题体验优化与完成率提升引擎:从交互设计到行为心理学的工程化实践
windows·microsoft·交互
薛定谔的猫19822 小时前
LLaMA-Factory +DeepSpeed 分布式多卡训练实战全解
分布式·deepspeed·zero·多卡训练·多卡分布式训练
稚南城才子,乌衣巷风流3 小时前
RabbitMQ 消息队列:从入门到实战
分布式·rabbitmq
独隅3 小时前
DevEco Code 在 Windows/MacOS 双系统上的完整使用指南
ide·人工智能·windows·macos·华为·harmonyos
寒水馨4 小时前
Windows下载、安装electron-v43.2.0(附安装包electron-v43.2.0-win32-x64.zip)
javascript·windows·typescript·electron·跨平台·桌面应用·chromium
x10n94 小时前
常用 Windows 数据恢复工具横向汇总|误删文件、分区损坏自救软件清单
windows·数据恢复·数据恢复工具
AI人工智能+电脑小能手4 小时前
【大白话说Java面试题 第194题】【08_Kafka篇】第10题:简述 Kafka 的 Rebalance 机制?
java·kafka·消费者组·rebalance·分布式消息队列
geovindu5 小时前
java: Backtracking Algorithm
java·开发语言·windows·后端·算法·回溯算法
西安景驰电子7 小时前
PTP IEEE1588 时钟服务器详解
运维·服务器·网络·数据库·windows·安全
Database_Cool_16 小时前
单机 MySQL 迁移到分布式数据库方便吗?阿里云 PolarDB-X 100% MySQL 协议兼容零改造平滑迁移
数据库·分布式·mysql