下载安装包:https://archive.apache.org/dist/kafka/2.8.2/kafka_2.13-2.8.2.tgz
解压:kafka_2.13-2.8.2.tgz,文件夹更名为:kafka
配置:根据需要配置/config/zookeeper.properties 与 /config/server.properties 等配置文件
启动:
1.先启动zookeeper后kafka
cd kafka\bin\windows
当前目录下打开cmd窗口
zookeeper-server-start.bat ../../config/zookeeper.properties &
2.再启动kafka
kafka-server-start.bat ../../config/server.properties &
[2023-06-06 12:34:30,242] INFO [KafkaServer id=0] started (kafka.server.KafkaServer)
3.默认端口:
zookeeper端口: 2181
kafka端口:9092
【其他操作】
cd kafka\bin\windows
1.创建、新增topics
kafka-topics.bat --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic {topic-name}
比如:kafka_mq_test
2.查看所有topics
kafka-topics.bat --zookeeper localhost:2181 --list
kafka-topics.bat --zookeeper 127.0.0.1:2181 --list
3.删除topic
kafka-topics.bat --delete --zookeeper localhost:2181 --topic {topic-name}
4.生产者功能测试 - 测试的前提是:必须先创建好一个topic
kafka-console-producer.bat --broker-list 127.0.0.1:9092 --topic {topic-name}
示例:>kafka-console-producer.bat --broker-list 127.0.0.1:9092 --topic topic2023
5.消费者功能测试
kafka-console-consumer.bat --bootstrap-server 127.0.0.1:9092 --topic {topic-name} --from-beginning
示例:>kafka-console-consumer.bat --bootstrap-server 127.0.0.1:9092 --topic topic2023 --from-beginning
【Kafka存储机制】
topic中partition存储分布
partiton中文件存储方式
partiton中segment文件存储结构
在partition中通过offset查找message
可以借助图形化工具快速具象的查看kafka的消息数据,也能便于理解其基本操作流程:
比如:
图形化工具:offsetexplorer
web控制台:kafka manager。