搭建Kafka集群(CentOS Stream 9)

一、准备工作

  • 虚拟机相关:

    VMware workstation 16:虚拟机 > vmware_177981.zip

    CentOS Stream 9:虚拟机 > CentOS-Stream-9-latest-x86_64-dvd1.iso

    如果操作系统是win11或者win10家庭版,推荐使用VMware workstation 17版本,网盘地址为:虚拟机 > vmware_17。

  • JDK

    jdk1.8:JDK > jdk-8u261-linux-x64.tar.gz

  • Kafka

    Kafka > kafka_2.13-3.9.0.tgz

  • 辅助工具

    MobaXterm:MobaXterm_Portable_v24.0.zip

本文相关资源可以在文末提供的百度网盘资源中下载,除了vmware(你懂的...),以上资源均来源于官网,MobaXterm是便捷式软件,无需安装。

CentOS的安装、虚拟机克隆、集群网络环境配置 可参考 搭建Hadoop3.x完全分布式集群(CentOS 9)安装准备部分。

Zookeeper安装 参考:搭建Zookeeper完全分布式集群

二、搭建完全分布式集群

在进行下面步骤之前,确保已经安装好虚拟机hadoop1、hadoop2、hadoop3,并且已经完成集群的网络环境配置、JDK安装和Zookeeper安装。

1. 安装Kafka

(1)下载安装包(也可直接在文末的网盘中获取)

下载地址: https://kafka.apache.org/downloads.html

版本号说明:

(2)安装Kafka

将Kafka安装包上传至hadoop1虚拟机/software目录,运行下面命令解压安装:

shell 复制代码
tar -xvf /software/kafka_2.13-3.9.0.tgz -C /opt
cd /opt
mv kafka_2.13-3.9.0/ kafka

目录介绍


bin:可执行脚本的目录

config:配置文件的目录

配置环境变量

shell 复制代码
vi /etc/profile

添加如下内容:

shell 复制代码
export KAFKA_HOME=/opt/kafka
export PATH=$PATH:$JAVA_HOME/bin:$KAFKA_HOME/bin

运行source /etc/profile更新环境变量

2. 修改kafka配置信息

shell 复制代码
cd /opt/kafka
mkdir logs
vi config/server.properties

修改相应的配置项

复制代码
#broker 的全局唯一编号,不能重复
broker.id=0
#kafka 运行日志存放的路径
log.dirs=/opt/kafka/logs
#topic 在当前 broker 上的分区个数
num.partitions=1
#segment 文件保留的最长时间,超时将被删除
log.retention.hours=168
#配置连接 Zookeeper 集群地址
zookeeper.connect=hadoop1:2181,hadoop2:2181,hadoop3:2181

3. 分发Kafka和环境变量

shell 复制代码
scp -r /opt/kafka root@hadoop2:/opt
scp -r /opt/kafka root@hadoop3:/opt

scp /etc/profile root@hadoop2:/etc
scp /etc/profile root@hadoop3:/etc

4. 修改broker.id

分别将虚拟机hadoop2和hadoop3的broker.id修改为1和2

5. 启动Kafka集群

请确保已经启动Zookeepr集群

在虚拟机Hadoop1上执行以下命令启动kafka Broker。

shell 复制代码
kafka-server-start.sh -daemon /opt/kafka/config/server.properties
ssh hadoop2 "source /etc/profile && kafka-server-start.sh -daemon /opt/kafka/config/server.properties"
ssh hadoop3 "source /etc/profile && kafka-server-start.sh -daemon /opt/kafka/config/server.properties"

使用jps命令查看进程

6. 测试

  • 创建Topic
shell 复制代码
kafka-topics.sh --create --topic test-topic --bootstrap-server hadoop1:9092 --partitions 3 --replication-factor 2
kafka-topics.sh --describe --topic test-topic --bootstrap-server hadoop1:9092
  • 查看所有topic
shell 复制代码
kafka-topics.sh --bootstrap-server hadoop2:9092 --list 
  • 发送消息
shell 复制代码
kafka-console-producer.sh --bootstrap-server hadoop3:9092 --topic first
  • 消费消息
shell 复制代码
kafka-console-consumer.sh --bootstrap-server hadoop1:9092 --from-beginning --topic first

7. 集群服务管理脚本

在虚拟机hadoop1上执行下面的命令,编写zookeeper集群服务管理脚本

shell 复制代码
cd /opt/kafka/bin
touch xkafkaServer.sh
chmod +x xkafkaServer.sh
vi xkafkaServer.sh

编辑如下脚本内容

shell 复制代码
#!/bin/bash
if [ $# -eq 0 ]; then
    echo "xkafkaServer.sh {start | stop}"
    exit
fi
for host in hadoop1 hadoop2 hadoop3
    do
            case $1 in
            "start"){
                    echo "                                               "
                    echo "--------------- 启 动 kafka ---------------"
                    echo "------------ $host kafka -----------"
                    ssh $host "source /etc/profile && kafka-server-start.sh -daemon /opt/kafka/config/server.properties"
            };;
            "stop"){
                    echo "                                               "
                    echo "--------------- 关 闭 kafka ---------------"
                    echo "------------ $host kafka -----------"
                    ssh $host "source /etc/profile && kafka-server-stop.sh"
            };;
            esac
    done

可以运行xkafkaServer.sh start 启动Kafka集群,运行xkafkaServer.sh stop停止Kafka集群。

附、网盘资源

链接:https://pan.baidu.com/s/1MSUdwbPArIAglQTDRhOjrg?pwd=jiau

提取码:jiau

相关推荐
IT成长日记11 小时前
【Kafka基础】Kafka工作原理解析
分布式·kafka
州周13 小时前
kafka副本同步时HW和LEO
分布式·kafka
程序媛学姐15 小时前
SpringKafka错误处理:重试机制与死信队列
java·开发语言·spring·kafka
Linux运维老纪15 小时前
运维之 Centos7 防火墙(CentOS 7 Firewall for Operations and Maintenance)
linux·安全·centos·云计算·运维开发·火绒
counsellor15 小时前
CentOS 7安装hyperscan
linux·centos·hyperscan
电星托马斯15 小时前
Linux系统CentOS 6.3安装图文详解
linux·运维·服务器·程序人生·centos
小王不会写code15 小时前
CentOS 7 镜像源失效解决方案(2025年)
linux·运维·centos
zyplanke15 小时前
CentOS Linux升级内核kernel方法
linux·运维·centos
东阳马生架构1 天前
zk基础—4.zk实现分布式功能
zookeeper