02、Kafka ------ 配置 Kafka 集群

目录

配置 Kafka 集群

启动命令:

1、启动 zookeeper 服务器端

小黑窗输入命令: zkServer

2、启动 zookeeper 的命令行客户端工具

(这个只是用来看连接的节点信息,不启动也没关系)

小黑窗输入命令:zkCli -server 127.0.0.1:2181

3、启动 Kafka 服务器:

第1个kafka服务器,也就是第1个节点:

kafka-server-start E:/install/kafka_2.13-3.6.1/config/server.properties

第2个kafka服务器,也就是第2个节点:

kafka-server-start E:/install/kafka_2.13-3.6.1/config/server-1.properties

第3个kafka服务器,也就是第3个节点:

kafka-server-start E:/install/kafka_2.13-3.6.1/config/server-2.properties

配置步骤

Kafka 在集群模式下才能体现它的一些优势。因为是演示,所以不可能弄很多台服务器来搭建 Kafka 集群环境,所以只能在一台电脑里面,运行多个kafka进程,就是通过监听不同的端口来实现。

1、如果要配置Kafka集群,也就是启动多个Kafka节点。以再启动两个Kafka节点为例, 那应将config子目录下的server.properties再复制两份,重命名为server-1.properties和server-2.properties

并将它们分别修改为:

【config/server-1.properties】:

指定该节点的唯一标识

broker.id=1

指定该节点监听端口

listeners=PLAINTEXT://:9093 和 9094

advertised.listeners=PLAINTEXT://localhost:9093 和 9094

复制两份,然后修改配置内容:

2、指定该节点的数据存储目录

log.dirs=E:/install/kafka_2.13-3.6.1/kafka-data-1

拷贝的这两份,修改存储数据的文件夹的名字

就是拷贝的配置文件改了这几处地方:

【config/server-2.properties】:

broker.id=2

listeners=PLAINTEXT://:9094

advertised.listeners=PLAINTEXT://localhost:9094

log.dir=log.dirs=E:/install/kafka_2.13-3.6.1/kafka-data-2

配置文件修改到的地方:

一个broker就是一个kafka节点,也就是一个kafka。

启动各Kafka节点

此时加上拷贝的两个,就有三个kafka节点了。来启动它们:

依次运行如下命令,先启动第2个节点,监听9093端口:

复制代码
kafka-server-start E:/install/kafka_2.13-3.6.1/config/server-1.properties

启动第3个节点,监听9094端口:

复制代码
 kafka-server-start E:/install/kafka_2.13-3.6.1/config/server-2.properties

由于本例是在同一台主机上运行多个Kafka节点,因此将3个节点的监听端口分别设为9092(默认端口)、9093(第2个节点)和9094(第3个节点)。

如果在不同主机上分别启动不同的Kafka节点,则可以让它们都使用9092的默认端口。

如果Kafka节点与ZooKeeper不在同一台主机上,则需要修改Kafka config目录下的server.properties文件中的如下一行:

复制代码
# 设置ZooKeeper的主机和端口
zookeeper.connect=localhost:2181

因为现在都是在同一台主机上面操作,就不用弄其他的了。

可以看到,kafka集群,三个节点都已经启动成功了。

启动 zookeeper 的命令行客户端工具,小黑窗输入命令:zkCli -server 127.0.0.1:2181 和 ls /

可以看到很多东西都注册到 zookeeper 里面了,因为zookeeper就是用来管理这些分布式节点数据的。

相关推荐
代码改善世界4 小时前
【前瞻创想】Kurator:驾驭分布式云原生世界的“统一舰队”
分布式·云原生
行走正道4 小时前
【前瞻创想】标准之争:论Kurator在分布式云原生API标准化中的潜在角色
分布式·api·kurator·标准化·策略驱动
代码改善世界4 小时前
【探索实战】从零到一:Kurator 构建分布式云原生平台的探索与实践
分布式·云原生
9***Y485 小时前
后端在分布式中的Apache Kafka
分布式·kafka
yumgpkpm5 小时前
腾讯TBDS和Cloud Data AI CMP 比较的缺陷在哪里?
hive·hadoop·elasticsearch·zookeeper·spark·kafka·hbase
初学者,亦行者5 小时前
【前瞻创想】集成与创新并举,引领分布式云原生新范式
分布式·云原生
i***58675 小时前
【RabbitMQ】超详细Windows系统下RabbitMQ的安装配置
windows·分布式·rabbitmq
小马过河R5 小时前
tRPC-GO 框架Helloworld实践初体验
开发语言·分布式·后端·架构·golang·gin·beego
小小工匠5 小时前
大规模数据处理:12_Kappa架构剖析与Kafka在大规模流式数据处理中的应用实践
架构·kafka·kappa
小程故事多_805 小时前
Kthena 引爆云原生推理革命:K8s 分布式架构破解 LLM 编排困局,吞吐狂飙 273%
人工智能·分布式·云原生·kubernetes·aigc