搭建Kafka集群（CentOS Stream 9）

一、准备工作

虚拟机相关：

VMware workstation 16：虚拟机 > vmware_177981.zip

CentOS Stream 9：虚拟机 > CentOS-Stream-9-latest-x86_64-dvd1.iso

如果操作系统是win11或者win10家庭版，推荐使用VMware workstation 17版本，网盘地址为：虚拟机 > vmware_17。
JDK

jdk1.8：JDK > jdk-8u261-linux-x64.tar.gz
Kafka

Kafka > kafka_2.13-3.9.0.tgz
辅助工具

MobaXterm：MobaXterm_Portable_v24.0.zip

本文相关资源可以在文末提供的百度网盘资源中下载，除了vmware（你懂的...），以上资源均来源于官网，MobaXterm是便捷式软件，无需安装。

CentOS的安装、虚拟机克隆、集群网络环境配置 可参考搭建Hadoop3.x完全分布式集群（CentOS 9）安装准备部分。

Zookeeper安装 参考：搭建Zookeeper完全分布式集群

二、搭建完全分布式集群

在进行下面步骤之前，确保已经安装好虚拟机hadoop1、hadoop2、hadoop3，并且已经完成集群的网络环境配置、JDK安装和Zookeeper安装。

1. 安装Kafka

（1）下载安装包（也可直接在文末的网盘中获取）

下载地址： https://kafka.apache.org/downloads.html

版本号说明：

（2）安装Kafka

将Kafka安装包上传至hadoop1虚拟机/software目录，运行下面命令解压安装：

shell 复制代码

tar -xvf /software/kafka_2.13-3.9.0.tgz -C /opt
cd /opt
mv kafka_2.13-3.9.0/ kafka

目录介绍

bin：可执行脚本的目录

config：配置文件的目录

配置环境变量

shell 复制代码

vi /etc/profile

添加如下内容：

shell 复制代码

export KAFKA_HOME=/opt/kafka
export PATH=$PATH:$JAVA_HOME/bin:$KAFKA_HOME/bin

运行source /etc/profile更新环境变量

2. 修改kafka配置信息

shell 复制代码

cd /opt/kafka
mkdir logs
vi config/server.properties

修改相应的配置项

#broker 的全局唯一编号，不能重复
broker.id=0
#kafka 运行日志存放的路径
log.dirs=/opt/kafka/logs
#topic 在当前 broker 上的分区个数
num.partitions=1
#segment 文件保留的最长时间，超时将被删除
log.retention.hours=168
#配置连接 Zookeeper 集群地址
zookeeper.connect=hadoop1:2181,hadoop2:2181,hadoop3:2181

3. 分发Kafka和环境变量

shell 复制代码

scp -r /opt/kafka root@hadoop2:/opt
scp -r /opt/kafka root@hadoop3:/opt

scp /etc/profile root@hadoop2:/etc
scp /etc/profile root@hadoop3:/etc

4. 修改broker.id

分别将虚拟机hadoop2和hadoop3的broker.id修改为1和2

5. 启动Kafka集群

请确保已经启动Zookeepr集群

在虚拟机Hadoop1上执行以下命令启动kafka Broker。

shell 复制代码

kafka-server-start.sh -daemon /opt/kafka/config/server.properties
ssh hadoop2 "source /etc/profile && kafka-server-start.sh -daemon /opt/kafka/config/server.properties"
ssh hadoop3 "source /etc/profile && kafka-server-start.sh -daemon /opt/kafka/config/server.properties"

使用jps命令查看进程

6. 测试

创建Topic

shell 复制代码

kafka-topics.sh --create --topic test-topic --bootstrap-server hadoop1:9092 --partitions 3 --replication-factor 2
kafka-topics.sh --describe --topic test-topic --bootstrap-server hadoop1:9092

查看所有topic

shell 复制代码

kafka-topics.sh --bootstrap-server hadoop2:9092 --list

发送消息

shell 复制代码

kafka-console-producer.sh --bootstrap-server hadoop3:9092 --topic first

消费消息

shell 复制代码

kafka-console-consumer.sh --bootstrap-server hadoop1:9092 --from-beginning --topic first

7. 集群服务管理脚本

在虚拟机hadoop1上执行下面的命令，编写zookeeper集群服务管理脚本

shell 复制代码

cd /opt/kafka/bin
touch xkafkaServer.sh
chmod +x xkafkaServer.sh
vi xkafkaServer.sh

编辑如下脚本内容

shell 复制代码

#!/bin/bash
if [ $# -eq 0 ]; then
    echo "xkafkaServer.sh {start | stop}"
    exit
fi
for host in hadoop1 hadoop2 hadoop3
    do
            case $1 in
            "start"){
                    echo "                                               "
                    echo "--------------- 启 动 kafka ---------------"
                    echo "------------ $host kafka -----------"
                    ssh $host "source /etc/profile && kafka-server-start.sh -daemon /opt/kafka/config/server.properties"
            };;
            "stop"){
                    echo "                                               "
                    echo "--------------- 关 闭 kafka ---------------"
                    echo "------------ $host kafka -----------"
                    ssh $host "source /etc/profile && kafka-server-stop.sh"
            };;
            esac
    done

可以运行xkafkaServer.sh start 启动Kafka集群，运行xkafkaServer.sh stop停止Kafka集群。

附、网盘资源

链接：https://pan.baidu.com/s/1MSUdwbPArIAglQTDRhOjrg?pwd=jiau

提取码：jiau