快速上手Kafka,简易版

查看本机配置

检查JDK是否安装

复制代码
java -version

下载kafka、Zookeeper安装包

在~目录下创建一个kafka_test目录,进入该目录,下载kafka安装包跟Zookeeper安装包

bash 复制代码
wget https://archive.apache.org/dist/kafka/3.8.0/kafka_2.13-3.8.0.tgz
bash 复制代码
wget https://dlcdn.apache.org/zookeeper/zookeeper-3.8.4/apache-zookeeper-3.8.4.tar.gz

解压缩kafka安装包

复制代码
tar -zxvf kafka_2.13-3.8.0.tgz

递归创建/app/kafka目录,将kafka安装包剪切到/app/kafka目录下

bash 复制代码
mkdir -p /app/kafka
bash 复制代码
mv kafka_2.13-3.8.0 /app/kafka/

后台启动kafka跟zookeeper

进入/app/kafka/kafka_2.13-3.8.0目录,启动zookeeper做配置中心,使用nohup命令使当前程序启动不占用控制台输出,即后台启动

bash 复制代码
nohup bin/zookeeper-server-start.sh config/zookeeper.properties &

查看zookeeper进程是否启动成功:jps 后台启动kafka进程

bash 复制代码
nohup bin/kafka-server-start.sh config/server.properties &

查看kafka进程是否启动成功 kafka的工作机制:基于不同的topic来发送、接收业务消息,如订单,用户消息,所以我们先要创建topic,这里提供topic的查看文档帮助命令

bash 复制代码
bin/kafka-topics.sh --help

基于进程号查看Kafka占用的端口号(默认9092)

创建topic

创建一个名为test的topic

bash 复制代码
bin/kafka-topics.sh --bootstrap-server localhost:9092 --create --topic test

查看topic

bash 复制代码
bin/kafka-topics.sh --bootstrap-server localhost:9092 --list

创建生产者

创建一个基于控制台的生产者,控制台发送消息如需删除字符按住Ctrl+Backspace

发消息

bash 复制代码
bin/kafka-console-producer.sh  --bootstrap-server localhost:9092 --topic test

复制该窗口,创建消费者,默认从启动消费者的那一刻开始从队列的最后位置开始消费,如果需要从头消费历史消息,可以加参数 --from-beginning

消费方式:

1.默认消费:

bash 复制代码
bin/kafka-console-consumer.sh  --bootstrap-server localhost:9092 --topic test

2.从头消费:

bash 复制代码
bin/kafka-console-consumer.sh  --bootstrap-server localhost:9092 --topic test --from-beginning

3.指定位置开始消费

bash 复制代码
bin/kafka-console-consumer.sh  --bootstrap-server localhost:9092 --topic test --partition 0 --offset 2

消息存储在partition中,这里指定从索引2的消息开始消费

因为两个窗口分别属于不同的进程,所以也证明了进程通信可以通过消息队列来实现

消费者组

创建消费者组

同一个消费者组中的消息只会被消费一次,同一个消息可以被不同的消费组消费,创建三个消费组(其中两个消费者组名字一致)

bash 复制代码
bin/kafka-console-consumer.sh  --bootstrap-server localhost:9092 --topic test --group testGroup
bash 复制代码
bin/kafka-console-consumer.sh  --bootstrap-server localhost:9092 --topic test --group testGroup2

窗口控制台2阻塞无输出,可以看到,同一个消费者组中的消息只会被消费一次(原因,同一个消费组共享同一个Offset),同一个消息可以被不同的消费组消费

查看具体消费者组的消费情况

bash 复制代码
bin/kafka-consumer-groups.sh  --bootstrap-server localhost:9092 --describe --group testGroup2

其中的LAG表示还未消费的消息数,LOG-END-OFFSET表示总的消息数,CURRENT-OFFSET表示当前消费的最后一条消息的编号,即索引

至此,一个简易版的消息队列就搭建完成,第一次写,更多的是记录学习历程,后续将继续更新,希望对您有帮助哈哈

相关推荐
tan180°1 小时前
MySQL表的操作(3)
linux·数据库·c++·vscode·后端·mysql
优创学社22 小时前
基于springboot的社区生鲜团购系统
java·spring boot·后端
why技术2 小时前
Stack Overflow,轰然倒下!
前端·人工智能·后端
幽络源小助理2 小时前
SpringBoot基于Mysql的商业辅助决策系统设计与实现
java·vue.js·spring boot·后端·mysql·spring
ai小鬼头3 小时前
AIStarter如何助力用户与创作者?Stable Diffusion一键管理教程!
后端·架构·github
简佐义的博客4 小时前
破解非模式物种GO/KEGG注释难题
开发语言·数据库·后端·oracle·golang
Code blocks4 小时前
使用Jenkins完成springboot项目快速更新
java·运维·spring boot·后端·jenkins
追逐时光者4 小时前
一款开源免费、通用的 WPF 主题控件包
后端·.net