Kafka简单搭建及常用命令

一、Kafka的服务搭建

1. 安装包下载

这里我下载的是目前最新的版本,在3.X版本及之后的版本中,Kafka已经移除了Zookeeper的强依赖,虽然依旧支持以Zookeeper的方式启动,但本文仅介绍无Zookeeper的启动方式,即kraft模式。

(说明:Kafka下载的为压缩包,解压即可使用,不需安装,且压缩包为windows与linux系统通用,windows通过bat文件使用,linux通过sh文件使用,实际项目中基本都是通过linux系统使用,所以此处本人仅对linux系统下的使用进行测试验证)

下载地址:https://kafka.apache.org/downloads

并将下载好的压缩包上传到服务器,这里上传到了虚拟机中的/usr/local/目录下:

2. 解压

解压命令:tar -zxvf "压缩包名"

3. 生成集群ID

进入解压出来的文件夹下的bin目录中,执行以下命令,生成一个唯一的集群id

./kafka-storage.sh random-uuid

4. 格式化存储目录

通过如下命令格式化存储目录,注意:-t参数需要指定上一步生成的集群id,即将下面命令中的"Tc5TTyKZQfil377YgmT5uQ "替换为你自己在上一步生成的集群id,另外,-c参数后需要指定的是config中的kraft中的server.properties配置文件,而不是config中的server.properties文件,后者是zookeeper模式启动需要的配置文件,前者才是我们使用kraft模式需要的配置文件,且后面服务的启动等操作都是围绕着这个配置文件来进行的。

./kafka-storage.sh format -t Tc5TTyKZQfil377YgmT5uQ -c ../config/kraft/server.properties

在格式化存储目录之后,会自动创建好目录/tmp/kraft-combined-logs,此目录即为kafka服务相关数据的存储位置。

5. 启动kafka服务

回到kafka下的bin目录,通过如下命令启动kafka

./kafka-server-start.sh ../config/kraft/server.properties

打印出以下日志即为启动成功

二、常用命令

(以下命令皆在kafka的bin目录下执行)

1. 查看topic列表

./kafka-topics.sh --bootstrap-server localhost:9092 --list

2. 查看topic相关详细信息

./kafka-topics.sh --bootstrap-server localhost:9092 --describe

3. 创建topic

 ./kafka-topics.sh --bootstrap-server localhost:9092 --create --topic quanyu-topic --replication-factor 1 --partitions 2

参数说明:

topic:指定topic名称,例如事例中topic名称为quanyu-topic

replication-factor:用来设置主题的副本数。每个主题可以有多个副本,副本位于集群中不同的broker上,也就是说副本的数量不能超过broker的数量,否则创建主题时会失败。

partitions:主题分区数量。kafka通过分区策略,将不同的分区分配在一个集群中的broker上,一般会分散在不同的broker上,当只有一个broker时,所有的分区就只分配到该Broker上。

4. 建立生产者

./kafka-console-producer.sh --broker-list localhost:9092 --topic quanyu-topic

以上命令执行完成之后会开始等待输入,每次输入完成后敲入回车便会发送一条消息,如以下截图,共发送了三条消息:111,222,333

如要停止该生产者,则输入Ctrl+Z即可退出。

5. 建立消费者

./kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic quanyu-topic --from-beginning --consumer.config ../config/consumer.properties

以上命令执行之后会进入监听状态,等待接收到消息之后直接显示在控制台中,同样的,如要停止该消费者,输入Ctrl+Z即可退出。且通过参数中的--from-beginning,表示从消息队列起始位置开始接收消息;通过参数中的--consumer.config,可以指定消费者使用的配置文件。

6. 删除Topic

./kafka-topics.sh --bootstrap-server localhost:9092 --delete --topic quanyu-topic
相关推荐
_oP_i2 小时前
Pinpoint 是一个开源的分布式追踪系统
java·分布式·开源
eybk4 小时前
Pytorch+Mumu模拟器+萤石摄像头实现对小孩学习的监控
学习
6.944 小时前
Scala学习记录 递归调用 练习
开发语言·学习·scala
lucky_syq4 小时前
Flume和Kafka的区别?
大数据·kafka·flume
观测云4 小时前
Confluent Cloud Kafka 可观测性最佳实践
kafka·confluent
攻心的子乐4 小时前
Kafka可视化工具 Offset Explorer (以前叫Kafka Tool)
分布式·kafka
Aileen_0v04 小时前
【AI驱动的数据结构:包装类的艺术与科学】
linux·数据结构·人工智能·笔记·网络协议·tcp/ip·whisper
小林想被监督学习5 小时前
RabbitMQ 的7种工作模式
分布式·rabbitmq
守护者1705 小时前
JAVA学习-练习试用Java实现“使用Arrays.toString方法将数组转换为字符串并打印出来”
java·学习
学会沉淀。6 小时前
Docker学习
java·开发语言·学习