搭建Kafka集群(CentOS Stream 9)

一、准备工作

  • 虚拟机相关:

    VMware workstation 16:虚拟机 > vmware_177981.zip

    CentOS Stream 9:虚拟机 > CentOS-Stream-9-latest-x86_64-dvd1.iso

    如果操作系统是win11或者win10家庭版,推荐使用VMware workstation 17版本,网盘地址为:虚拟机 > vmware_17。

  • JDK

    jdk1.8:JDK > jdk-8u261-linux-x64.tar.gz

  • Kafka

    Kafka > kafka_2.13-3.9.0.tgz

  • 辅助工具

    MobaXterm:MobaXterm_Portable_v24.0.zip

本文相关资源可以在文末提供的百度网盘资源中下载,除了vmware(你懂的...),以上资源均来源于官网,MobaXterm是便捷式软件,无需安装。

CentOS的安装、虚拟机克隆、集群网络环境配置 可参考 搭建Hadoop3.x完全分布式集群(CentOS 9)安装准备部分。

Zookeeper安装 参考:搭建Zookeeper完全分布式集群

二、搭建完全分布式集群

在进行下面步骤之前,确保已经安装好虚拟机hadoop1、hadoop2、hadoop3,并且已经完成集群的网络环境配置、JDK安装和Zookeeper安装。

1. 安装Kafka

(1)下载安装包(也可直接在文末的网盘中获取)

下载地址: https://kafka.apache.org/downloads.html

版本号说明:

(2)安装Kafka

将Kafka安装包上传至hadoop1虚拟机/software目录,运行下面命令解压安装:

shell 复制代码
tar -xvf /software/kafka_2.13-3.9.0.tgz -C /opt
cd /opt
mv kafka_2.13-3.9.0/ kafka

目录介绍


bin:可执行脚本的目录

config:配置文件的目录

配置环境变量

shell 复制代码
vi /etc/profile

添加如下内容:

shell 复制代码
export KAFKA_HOME=/opt/kafka
export PATH=$PATH:$JAVA_HOME/bin:$KAFKA_HOME/bin

运行source /etc/profile更新环境变量

2. 修改kafka配置信息

shell 复制代码
cd /opt/kafka
mkdir logs
vi config/server.properties

修改相应的配置项

复制代码
#broker 的全局唯一编号,不能重复
broker.id=0
#kafka 运行日志存放的路径
log.dirs=/opt/kafka/logs
#topic 在当前 broker 上的分区个数
num.partitions=1
#segment 文件保留的最长时间,超时将被删除
log.retention.hours=168
#配置连接 Zookeeper 集群地址
zookeeper.connect=hadoop1:2181,hadoop2:2181,hadoop3:2181

3. 分发Kafka和环境变量

shell 复制代码
scp -r /opt/kafka root@hadoop2:/opt
scp -r /opt/kafka root@hadoop3:/opt

scp /etc/profile root@hadoop2:/etc
scp /etc/profile root@hadoop3:/etc

4. 修改broker.id

分别将虚拟机hadoop2和hadoop3的broker.id修改为1和2

5. 启动Kafka集群

请确保已经启动Zookeepr集群

在虚拟机Hadoop1上执行以下命令启动kafka Broker。

shell 复制代码
kafka-server-start.sh -daemon /opt/kafka/config/server.properties
ssh hadoop2 "source /etc/profile && kafka-server-start.sh -daemon /opt/kafka/config/server.properties"
ssh hadoop3 "source /etc/profile && kafka-server-start.sh -daemon /opt/kafka/config/server.properties"

使用jps命令查看进程

6. 测试

  • 创建Topic
shell 复制代码
kafka-topics.sh --create --topic test-topic --bootstrap-server hadoop1:9092 --partitions 3 --replication-factor 2
kafka-topics.sh --describe --topic test-topic --bootstrap-server hadoop1:9092
  • 查看所有topic
shell 复制代码
kafka-topics.sh --bootstrap-server hadoop2:9092 --list 
  • 发送消息
shell 复制代码
kafka-console-producer.sh --bootstrap-server hadoop3:9092 --topic first
  • 消费消息
shell 复制代码
kafka-console-consumer.sh --bootstrap-server hadoop1:9092 --from-beginning --topic first

7. 集群服务管理脚本

在虚拟机hadoop1上执行下面的命令,编写zookeeper集群服务管理脚本

shell 复制代码
cd /opt/kafka/bin
touch xkafkaServer.sh
chmod +x xkafkaServer.sh
vi xkafkaServer.sh

编辑如下脚本内容

shell 复制代码
#!/bin/bash
if [ $# -eq 0 ]; then
    echo "xkafkaServer.sh {start | stop}"
    exit
fi
for host in hadoop1 hadoop2 hadoop3
    do
            case $1 in
            "start"){
                    echo "                                               "
                    echo "--------------- 启 动 kafka ---------------"
                    echo "------------ $host kafka -----------"
                    ssh $host "source /etc/profile && kafka-server-start.sh -daemon /opt/kafka/config/server.properties"
            };;
            "stop"){
                    echo "                                               "
                    echo "--------------- 关 闭 kafka ---------------"
                    echo "------------ $host kafka -----------"
                    ssh $host "source /etc/profile && kafka-server-stop.sh"
            };;
            esac
    done

可以运行xkafkaServer.sh start 启动Kafka集群,运行xkafkaServer.sh stop停止Kafka集群。

附、网盘资源

链接:https://pan.baidu.com/s/1MSUdwbPArIAglQTDRhOjrg?pwd=jiau

提取码:jiau

相关推荐
TE-茶叶蛋1 分钟前
NestJS + Kafka 秒杀系统完整实践总结
分布式·kafka
阿桨31 分钟前
【保姆级教程-Centos7环境下部署mongodb并设置开机自启】
数据库·mongodb·centos
慧一居士1 小时前
Kafka批量消费部分处理成功时的手动提交方案
分布式·后端·kafka
搞不懂语言的程序员2 小时前
如何实现Kafka的Exactly-Once语义?
分布式·kafka·linq
小名叫咸菜3 小时前
Kafka简介
kafka
zcyf08093 小时前
kafka理论学习汇总
java·分布式·学习·kafka
shepherd1113 小时前
Kafka生产环境实战经验深度总结,让你少走弯路
后端·面试·kafka
晴天彩虹雨6 小时前
Flink 消费 Kafka 数据流的最佳实践
数据仓库·flink·kafka·linq
davysiao7 小时前
CentOS 使用国内镜像安装 nvm 和 Node.js 完整指南
linux·centos·node.js
未来会更好yes17 小时前
Centos 7.6安装redis-6.2.6
linux·redis·centos