Rocky Linux 10 部署 Kafka 集群

xiep14383335102025-08-13 19:26

1.概述

Apache Kafka 是一个开源的消息系统，它提供了一个分布式、分区的、可复制的提交日志服务。

2.特点

  • 消息（Message）：Kafka 中最基本的数据单元是消息。每条消息都是一个键值对，键和值可以是任意的字节数组。
  • 主题（Topic）：消息的类别被称为 Topic。生产者将消息发布到特定的 Topic，而消费者订阅一个或多个 Topic 来接收消息。
  • 分区（Partition）：每个 Topic 可以分为多个 Partition。Partition 不仅允许消息通过多个消费者并发处理，还提供了 Kafka 的扩展性和顺序保证。每个 Partition 都是一个有序的、不可变的消息序列。
  • 偏移量（Offset）：每条消息在它所属的 Partition 中都有一个唯一的序列号称为 Offset。消费者通过 Offset 来跟踪它们已经消费了哪些消息。
  • 生产者（Producer）：负责将消息发布到 Kafka 的 Topic 中。生产者可以选择将消息发送到特定的 Partition。
  • 消费者（Consumer）：订阅一个或多个 Topic 并处理发布的消息。消费者追踪它们所消费的消息 Offset，并定期提交这些信息到 Kafka 或外部存储中。
  • 经纪人（Broker）：Kafka 集群由一个或多个服务器组成，这些服务器被称为 Brokers。每个 Broker 可以容纳多个 Topic 和 Partition。
  • 日志（Log）：从实现的角度来看，Partition 实际上就是一个分布式提交日志。新的消息不断被追加到 Partition 的末尾。
  • 复制（Replication）：为了容错，Kafka 允许为每个 Partition 设置一个或多个副本。这样即使某些 Broker 出现故障，系统也能继续运行。
  • 领导者（Leader）与追随者（Follower）：对于每个 Partition，Kafka 选择一个副本作为 Leader，其余副本则作为 Followers。Leader 负责处理读写请求，Follower 则从 Leader 同步数据。

3.系统环境准备

3.1集群信息
节点 IP地址 Kafka版本
node1 192.168.100.5 2.13-4.0.0
node2 192.168.100.6 2.13-4.0.0
node3 192.168.100.7 2.13-4.0.0
3.2IP配置

配置node1节点IP地址

bash 复制代码 
cat > /etc/NetworkManager/system-connections/ens160.nmconnection <<EOF
[connection]
id=ens160
type=ethernet
autoconnect-priority=-999
interface-name=ens160

[ethernet]

[ipv4]
address1=192.168.100.5/24
dns=114.114.114.114;8.8.8.8;
gateway=192.168.100.254
may-fail=false
method=manual

[ipv6]
addr-gen-mode=eui64
method=ignore

[proxy]
EOF

配置node2节点IP地址

bash 复制代码 
cat > /etc/NetworkManager/system-connections/ens160.nmconnection <<EOF
[connection]
id=ens160
type=ethernet
autoconnect-priority=-999
interface-name=ens160

[ethernet]

[ipv4]
address1=192.168.100.6/24
dns=114.114.114.114;8.8.8.8;
gateway=192.168.100.254
may-fail=false
method=manual

[ipv6]
addr-gen-mode=eui64
method=ignore

[proxy]
EOF

配置node3节点IP地址

bash 复制代码 
cat > /etc/NetworkManager/system-connections/ens160.nmconnection <<EOF
[connection]
id=ens160
type=ethernet
autoconnect-priority=-999
interface-name=ens160

[ethernet]

[ipv4]
address1=192.168.100.7/24
dns=114.114.114.114;8.8.8.8;
gateway=192.168.100.254
may-fail=false
method=manual

[ipv6]
addr-gen-mode=eui64
method=ignore

[proxy]
EOF
3.3修改主机名

node1上执行

bash 复制代码 
hostnamectl set-hostname node1

node2上执行

bash 复制代码 
hostnamectl set-hostname node2

node3上执行

bash 复制代码 
hostnamectl set-hostname node3
3.4关闭防火墙

3个节点均需要执行

bash 复制代码 
systemctl stop firewalld
systemctl disable  firewalld
systemctl status  firewalld
3.5关闭SELINUX

3个节点均需要执行

bash 复制代码 
setenforce 0
sed -i "s/^SELINUX=enforcing/SELINUX=disabled/g" /etc/selinux/config
3.6DNF源配置

3个节点均需要执行

bash 复制代码 
sed -e 's|^mirrorlist=|#mirrorlist=|g'     -e 's|^#baseurl=http://dl.rockylinux.org/$contentdir|baseurl=https://mirrors.aliyun.com/rockylinux|g'     -i.bak     /etc/yum.repos.d/rocky*.repo
3.7时间同步配置

3个节点均需要执行

bash 复制代码 
dnf install -y chrony
sed -i 's|pool[[:space:]]*2\.rocky\.pool\.ntp\.org[[:space:]]*iburst|server ntp.aliyun.com iburst|' /etc/chrony.conf
systemctl restart chronyd
chronyc sources
3.8主机映射配置

3个节点均需要执行

bash 复制代码 
tee >> /etc/hosts <<EOF
192.168.100.5   node1
192.168.100.6   node2
192.168.100.7   node3
EOF

4.软件安装

4.1安装 Kafka 集群
4.1.1下载Kafka

3个节点均需要执行

bash 复制代码 
wget https://dlcdn.apache.org/kafka/4.0.0/kafka_2.13-4.0.0.tgz
4.1.2解压Kafka

3个节点均需要执行

bash 复制代码 
tar zxvf kafka_2.13-4.0.0.tgz -C /usr/local
ln -s kafka_2.13-4.0.0 kafka
4.1.3metadata.log.dir 目录创建及授权
bash 复制代码 
mkdir -p /tmp/kafka-logs
chmod 755 /tmp/kafka-logs
4.1.4修改配置文件

node1上执行

bash 复制代码 
cat > /usr/local/kafka/config/server.properties <<EOF
node.id=1

# 节点角色：controller 和 broker
process.roles=controller,broker

# 元数据日志存储目录（需提前创建并赋权）
metadata.log.dir=/tmp/kafka-logs

# Controller 之间的投票节点列表（格式：id@host:port）
controller.quorum.voters=1@node1:9093,2@node2:9093,3@node3:9093

# 监听器定义：名称、协议、host:port
# 注意：CONTROLLER 是用于 controller 间通信的监听器
#       PLAINTEXT 是用于 broker 对外服务的监听器
listeners=PLAINTEXT://:9092,CONTROLLER://:9093

# 指定用于 controller 通信的监听器名称（必须是 listeners 中的一个）
controller.listener.names=CONTROLLER

# 监听器安全协议映射
listener.security.protocol.map=PLAINTEXT:PLAINTEXT,CONTROLLER:PLAINTEXT

# Broker 间通信使用的监听器名称
inter.broker.listener.name=PLAINTEXT

# 客户端连接地址（外部可访问的 host:port）
advertised.listeners=PLAINTEXT://node1:9092
EOF

node2上执行

bash 复制代码 
cat > /usr/local/kafka/config/server.properties <<EOF
node.id=2

# 节点角色：controller 和 broker
process.roles=controller,broker

# 元数据日志存储目录（需提前创建并赋权）
metadata.log.dir=/tmp/kafka-logs

# Controller 之间的投票节点列表（格式：id@host:port）
controller.quorum.voters=1@node1:9093,2@node2:9093,3@node3:9093

# 监听器定义：名称、协议、host:port
# 注意：CONTROLLER 是用于 controller 间通信的监听器
#       PLAINTEXT 是用于 broker 对外服务的监听器
listeners=PLAINTEXT://:9092,CONTROLLER://:9093

# 指定用于 controller 通信的监听器名称（必须是 listeners 中的一个）
controller.listener.names=CONTROLLER

# 监听器安全协议映射
listener.security.protocol.map=PLAINTEXT:PLAINTEXT,CONTROLLER:PLAINTEXT

# Broker 间通信使用的监听器名称
inter.broker.listener.name=PLAINTEXT

# 客户端连接地址（外部可访问的 host:port）
advertised.listeners=PLAINTEXT://node2:9092
EOF

node3上执行

bash 复制代码 
cat > /usr/local/kafka/config/server.properties <<EOF
node.id=3

# 节点角色：controller 和 broker
process.roles=controller,broker

# 元数据日志存储目录（需提前创建并赋权）
metadata.log.dir=/tmp/kafka-logs

# Controller 之间的投票节点列表（格式：id@host:port）
controller.quorum.voters=1@node1:9093,2@node2:9093,3@node3:9093

# 监听器定义：名称、协议、host:port
# 注意：CONTROLLER 是用于 controller 间通信的监听器
#       PLAINTEXT 是用于 broker 对外服务的监听器
listeners=PLAINTEXT://:9092,CONTROLLER://:9093

# 指定用于 controller 通信的监听器名称（必须是 listeners 中的一个）
controller.listener.names=CONTROLLER

# 监听器安全协议映射
listener.security.protocol.map=PLAINTEXT:PLAINTEXT,CONTROLLER:PLAINTEXT

# Broker 间通信使用的监听器名称
inter.broker.listener.name=PLAINTEXT

# 客户端连接地址（外部可访问的 host:port）
advertised.listeners=PLAINTEXT://node3:9092
EOF
4.1.5生成集群 ID

node1上执行

bash 复制代码 
bin/kafka-storage.sh random-uuid
4.1.6格式化存储目录

3个节点均需要执行

bash 复制代码 
cd /usr/local/kafka
bin/kafka-storage.sh format -t abcd-1234-efgh-5678 -c config/server.properties

执行结果

bash 复制代码 
Formatting metadata directory /tmp/kafka-logs with metadata.version 4.0-IV3.

并且在 /tmp/kafka-logs/ 目录下会生成一个 meta.properties 文件，内容如下

shell 复制代码 
cat /tmp/kafka-logs/meta.properties 
#
#Tue Aug 12 14:35:28 CST 2025
node.id=1
directory.id=WLMkRpvo2ZQFqvmHsGv2aA
version=1
cluster.id=XzHNVPgSTVKRBqsFWEC6AQ
4.1.7启动Kafka

3个节点上执行

bash 复制代码 
nohup bin/kafka-server-start.sh config/server.properties &
4.1.8查看KRaft元数据集群的状态
bash 复制代码 
bin/kafka-metadata-quorum.sh --bootstrap-server localhost:9092 describe --status

5.验证 Kafka 集群

5.1创建一个测试 topic

在任意节点上执行

bash 复制代码 
/usr/local/kafka/bin/kafka-topics.sh --create \
  --topic ceshi-topic \
  --bootstrap-server node1:9092 \
  --partitions 3 \
  --replication-factor 3
5.2查看 topic 列表

在任意节点上执行

bash 复制代码 
/usr/local/kafka/bin/kafka-topics.sh --list \
  --bootstrap-server node1:9092
5.3启动生产者测试

node1上执行

bash 复制代码 
/usr/local/kafka/bin/kafka-console-producer.sh \
  --bootstrap-server node1:9092 \
  --topic test-topic
  
  输入测试内容，如，Hello，Kafka
5.4启动消费者测试

node2上执行

bash 复制代码 
/usr/local/kafka/bin/kafka-console-consumer.sh \
  --bootstrap-server node1:9092 \
  --topic test-topic \
  --from-beginning
  
输出内容：Hello，Kafka
相关推荐
平行云PVT1 小时前
数字孪生信创云渲染技术解析：从混合信创到全国产化架构
linux·unity·云原生·ue5·图形渲染·webgl·gpu算力
xdscode2 小时前
Linux云服务器安装openclaw，并对接飞书通道
linux·服务器·飞书·openclaw
Percep_gan2 小时前
Linux中安装Redis，很详细
linux·运维·redis
七七powerful2 小时前
运维养龙虾--AI 驱动的架构图革命：draw.io MCP 让运维画图效率提升 10 倍，使用codebuddy实战
运维·人工智能·draw.io
枕书2 小时前
实战记录：如何使用 Docker 一键部署长亭 PandaWiki 智能知识库
运维·docker·容器
2401_877274243 小时前
从匿名管道到 Master-Slave 进程池：Linux 进程间通信深度实践
linux·服务器·c++
feng_you_ying_li3 小时前
linux之用户的权限详解（4）
linux·运维·服务器
二进制person4 小时前
JavaEE初阶 --网络编程
linux·服务器·网络
Cyber4K4 小时前
【妙招系列】Harbor 镜像私有仓库搭建手册
linux·云原生·容器
Irissgwe5 小时前
进程间通信
linux·服务器·网络·c++·进程间通信
热门推荐
01GitHub 镜像站点02Qwen3.5 开源全解析：从 0.8B 到 397B，代际升级 + 全场景选型指南03围棋-html版本04小黑课堂计算机二级WPSoffice题库软件下载安装教程（2026年3月最新版）05班级宠物园部署指南06OpenClaw 使用和管理 MCP 完全指南07UV安装并设置国内源08“wsl --install -d Ubuntu-22.04”下载慢，中国地区离线安装 Ubuntu 22.04 WSL方法（亲测2025年5月6日）09【计算机一级WPSoffice】小黑课堂题库软件下载安装教程（2026年3月最新版）10让 Trae IDE 智能体 “读懂”文档 Excel+PDF+DOCX ：mcp-documents-reader 工具使用指南