KRaft部署单点三实例Kafka集群

前言

在单台server上部署一个三节点kafka集群,不用zookeeper,使用kraft

kafka版本:2.13-3.9.1 系统:Debian 13, 4 core cpu, 4 GB memory IP:192.168.0.41 Java: openjdk-21-jdk

步骤

  1. 安装JDK
bash 复制代码
sudo apt install -y openjdk-21-jdk
  1. 下载kafka安装包并解压。本文示例中解压到~/apps/kafka。以下为最终目录结构,建议先改一个节点的配置,然后再拷贝其它节点的目录
bash 复制代码
$ tree ~/apps/kafka/ -L 2
/home/rainux/apps/kafka/
├── node1
│   ├── bin
│   ├── config
│   ├── data
│   ├── libs
│   ├── LICENSE
│   ├── licenses
│   ├── NOTICE
│   └── site-docs
├── node2
│   ├── bin
│   ├── config
│   ├── data
│   ├── libs
│   ├── LICENSE
│   ├── licenses
│   ├── NOTICE
│   └── site-docs
└── node3
    ├── bin
    ├── config
    ├── data
    ├── libs
    ├── LICENSE
    ├── licenses
    ├── NOTICE
    └── site-docs
  1. 先修改配置文件config/kraft/server.properties。每个节点需要单独设置的配置已经注明。
bash 复制代码
$ grep -vE '^$|#' config/kraft/server.properties

# 指定这个 Kafka 节点在集群中扮演的角色
## broker: 负责存储和提供消息,是消息的生产者和消费者交互的对象
## controller: 负责管理集群的元数据,如主题、分区和副本状态。在 Kraft 模式下,一个集群只有一个活动的控制器。
process.roles=broker,controller

# 集群中每个节点的唯一标识符
# 每个节点单独配置
node.id=1

# 定义所有控制器仲裁的所有成员。需要写上所有节点的node.id@ip:port
controller.quorum.voters=1@192.168.0.41:19092,2@192.168.0.41:19093,3@192.168.0.41:19094

# 定义了 Kafka 节点监听的网络接口和端口,用于接受客户端或集群内部的连接
# 每个节点单独配置
listeners=PLAINTEXT://192.168.0.41:9092,CONTROLLER://192.168.0.41:19092

# 指定 Broker 之间相互通信时使用的监听器名称
inter.broker.listener.name=PLAINTEXT

# 告诉外部客户端(包括其他 Broker)如何连接到这个节点
# 每个节点单独配置
advertised.listeners=PLAINTEXT://192.168.0.41:9092,CONTROLLER://192.168.0.41:19092

# 指定哪些监听器用于控制器仲裁之间的通信
controller.listener.names=CONTROLLER

# 将监听器名称映射到其安全协议
listener.security.protocol.map=CONTROLLER:PLAINTEXT,PLAINTEXT:PLAINTEXT,SSL:SSL,SASL_PLAINTEXT:SASL_PLAINTEXT,SASL_SSL:SASL_SSL

# 用于处理所有网络请求的线程数
num.network.threads=3

# 用于磁盘 I/O 的线程数
num.io.threads=8

# TCP 套接字发送/接收缓冲区的大小
socket.send.buffer.bytes=102400
socket.receive.buffer.bytes=102400

# # 单个请求的最大大小
socket.request.max.bytes=104857600

# 存储 Kafka 所有日志文件(包括消息数据和元数据)的目录
# 每个节点单独配置
log.dirs=/home/rainux/apps/kafka/node1/data

# 为每个新创建的主题设置的默认分区数
num.partitions=1
num.recovery.threads.per.data.dir=1
# 存储消费者偏移量的内部主题的副本数
offsets.topic.replication.factor=1
transaction.state.log.replication.factor=1
transaction.state.log.min.isr=1
# 日志数据保留的小时数
log.retention.hours=168
log.segment.bytes=1073741824
log.retention.check.interval.ms=300000
# 自动创建topic
auto.create.topics.enable=true
  1. 复制其它节点的目录。复制完后注意修改配置文件
bash 复制代码
cp -r node1 node2
cp -r node1 node3
  1. 生成UUID
bash 复制代码
KAFKA_CLUSTER_ID="$(./node1/bin/kafka-storage.sh random-uuid)"
  1. 初始化日志数据目录
bash 复制代码
./node1/bin/kafka-storage.sh format -t $KAFKA_CLUSTER_ID -c ./node1/config/kraft/server.properties

./node2/bin/kafka-storage.sh format -t $KAFKA_CLUSTER_ID -c ./node2/config/kraft/server.properties

./node3/bin/kafka-storage.sh format -t $KAFKA_CLUSTER_ID -c ./node3/config/kraft/server.properties
  1. 启动kafka
bash 复制代码
./node1/bin/kafka-server-start.sh -daemon ./node1/config/kraft/server.properties
./node2/bin/kafka-server-start.sh -daemon ./node2/config/kraft/server.properties
./node3/bin/kafka-server-start.sh -daemon ./node3/config/kraft/server.properties
  1. 开两个终端,一个启动生产者,另一个启动消费者,指定topic为testtopic。如果生产者终端输入的字符在消费者终端也能看到,说明搭建成功。
bash 复制代码
# 启动生产者
./node1/bin/kafka-console-producer.sh --broker-list 192.168.0.41:9092,192.168.0.41:9093,192.168.0.41:9094 --topic testtopic

# 启动消费者
./node1/bin/kafka-console-consumer.sh --bootstrap-server 192.168.0.41:9092,192.168.0.41:9093,192.168.0.41:9094 --topic testtopic

补充-常用kafka管理命令

  • 停止kafka
bash 复制代码
./node1/bin/kafka-server-stop.sh
./node2/bin/kafka-server-stop.sh
./node3/bin/kafka-server-stop.sh

for i in $(seq 1 3);do ./node${i}/bin/kafka-server-stop.sh;done
相关推荐
码事漫谈8 小时前
当公司不久后变成冒险者公会,我担心什么
后端
Csvn9 小时前
Nginx 负载均衡进阶与健康检查:哈希、keepalive 池与 DNS 自愈
后端·nginx
皮皮林55110 小时前
京东又开源一款新框架,用起来真优雅!
后端
学长毕设10 小时前
基于SpringBoot智慧养老服务平台设计与实现-附源码
java·spring boot·后端
行百里er13 小时前
【Spring Insight 技术分享】跨服务调用链路是怎么串起来的?
后端·spring·开源
火山引擎和TA的超级拍档们13 小时前
产品情报局 11 | AI 数据湖 LAS:打造大模型时代多模态数据底座
前端·后端
源动力技术栈13 小时前
C# 集合类型全览:从 List<T> 到 FrozenDictionary,配一组实测数据
后端
aleimu13 小时前
Windows 11 右键打开 Cmder 2.0:从找不到菜单到默认使用 Cmder
前端·人工智能·后端
货拉拉技术13 小时前
AI Agent 如何进入实时交易系统:货拉拉的三个实践与一套工程方法论
后端·架构·agent
我是谁的程序员13 小时前
iOS 性能分析在 Windows 上怎么做,用 KXBuild 的 kxdevice 替代 Instruments
后端·ios