Kafka简单搭建及常用命令

一、Kafka的服务搭建

1. 安装包下载

这里我下载的是目前最新的版本,在3.X版本及之后的版本中,Kafka已经移除了Zookeeper的强依赖,虽然依旧支持以Zookeeper的方式启动,但本文仅介绍无Zookeeper的启动方式,即kraft模式。

(说明:Kafka下载的为压缩包,解压即可使用,不需安装,且压缩包为windows与linux系统通用,windows通过bat文件使用,linux通过sh文件使用,实际项目中基本都是通过linux系统使用,所以此处本人仅对linux系统下的使用进行测试验证)

下载地址:https://kafka.apache.org/downloads

并将下载好的压缩包上传到服务器,这里上传到了虚拟机中的/usr/local/目录下:

2. 解压

解压命令:tar -zxvf "压缩包名"

3. 生成集群ID

进入解压出来的文件夹下的bin目录中,执行以下命令,生成一个唯一的集群id

./kafka-storage.sh random-uuid

4. 格式化存储目录

通过如下命令格式化存储目录,注意:-t参数需要指定上一步生成的集群id,即将下面命令中的"Tc5TTyKZQfil377YgmT5uQ "替换为你自己在上一步生成的集群id,另外,-c参数后需要指定的是config中的kraft中的server.properties配置文件,而不是config中的server.properties文件,后者是zookeeper模式启动需要的配置文件,前者才是我们使用kraft模式需要的配置文件,且后面服务的启动等操作都是围绕着这个配置文件来进行的。

./kafka-storage.sh format -t Tc5TTyKZQfil377YgmT5uQ -c ../config/kraft/server.properties

在格式化存储目录之后,会自动创建好目录/tmp/kraft-combined-logs,此目录即为kafka服务相关数据的存储位置。

5. 启动kafka服务

回到kafka下的bin目录,通过如下命令启动kafka

./kafka-server-start.sh ../config/kraft/server.properties

打印出以下日志即为启动成功

二、常用命令

(以下命令皆在kafka的bin目录下执行)

1. 查看topic列表

./kafka-topics.sh --bootstrap-server localhost:9092 --list

2. 查看topic相关详细信息

./kafka-topics.sh --bootstrap-server localhost:9092 --describe

3. 创建topic

 ./kafka-topics.sh --bootstrap-server localhost:9092 --create --topic quanyu-topic --replication-factor 1 --partitions 2

参数说明:

topic:指定topic名称,例如事例中topic名称为quanyu-topic

replication-factor:用来设置主题的副本数。每个主题可以有多个副本,副本位于集群中不同的broker上,也就是说副本的数量不能超过broker的数量,否则创建主题时会失败。

partitions:主题分区数量。kafka通过分区策略,将不同的分区分配在一个集群中的broker上,一般会分散在不同的broker上,当只有一个broker时,所有的分区就只分配到该Broker上。

4. 建立生产者

./kafka-console-producer.sh --broker-list localhost:9092 --topic quanyu-topic

以上命令执行完成之后会开始等待输入,每次输入完成后敲入回车便会发送一条消息,如以下截图,共发送了三条消息:111,222,333

如要停止该生产者,则输入Ctrl+Z即可退出。

5. 建立消费者

./kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic quanyu-topic --from-beginning --consumer.config ../config/consumer.properties

以上命令执行之后会进入监听状态,等待接收到消息之后直接显示在控制台中,同样的,如要停止该消费者,输入Ctrl+Z即可退出。且通过参数中的--from-beginning,表示从消息队列起始位置开始接收消息;通过参数中的--consumer.config,可以指定消费者使用的配置文件。

6. 删除Topic

./kafka-topics.sh --bootstrap-server localhost:9092 --delete --topic quanyu-topic
相关推荐
阿伟来咯~11 分钟前
记录学习react的一些内容
javascript·学习·react.js
Suckerbin33 分钟前
Hms?: 1渗透测试
学习·安全·网络安全
不能再留遗憾了38 分钟前
RabbitMQ 高级特性——消息分发
分布式·rabbitmq·ruby
水豚AI课代表44 分钟前
分析报告、调研报告、工作方案等的提示词
大数据·人工智能·学习·chatgpt·aigc
聪明的墨菲特i1 小时前
Python爬虫学习
爬虫·python·学习
茶馆大橘1 小时前
微服务系列六:分布式事务与seata
分布式·docker·微服务·nacos·seata·springcloud
Diamond技术流1 小时前
从0开始学习Linux——网络配置
linux·运维·网络·学习·安全·centos
密码小丑1 小时前
11月4日(内网横向移动(一))
笔记
斑布斑布1 小时前
【linux学习2】linux基本命令行操作总结
linux·运维·服务器·学习
鸭鸭梨吖2 小时前
产品经理笔记
笔记·产品经理