基于docker搭建Kafka集群,使用KRaft方式搭建,摒弃Zookeeper

KAFKA基于docker使用KRaft进行集群搭建

环境:已成功搭建kafka服务 可点击链接跳转至安装kafka-3.8.0版本 并启用SASL认证 教程

使用基于Zookeeper方式搭建集群教程

kafka-3.8.0版本 并启用SASL认证 教程

搭建kafka-ui可视化工具

192.168.2.91 192.168.2.92 192.168.2.93

一、创建kafka集群节点192.168.2.91

(1)进入kafka/config/

(2)修改server.properties

KRaft模式集群节点

node.id=91

KRaft模式集群是否开启分区选举

auto.leader.rebalance.enable=true

KRaft模式集群 认证授权列表

listener.security.protocol.map=CONTROLLER:PLAINTEXT,SASL_PLAINTEXT:SASL_PLAINTEXT

KRaft模式集群 监听所有连接kafka及Kraft请求

listeners=SASL_PLAINTEXT://0.0.0.0:19092,CONTROLLER://0.0.0.0:19093

KRaft模式集群 第三方服务器访问kafka以及Kraft地址

advertised.listeners=SASL_PLAINTEXT://192.168.2.91:19092,SASL_PLAINTEXT://172.17.0.1:19092,CONTROLLER://192.168.2.91:19093,CONTROLLER://172.17.0.1:19093

集群中当前节点角色 即可作为broker 也可作为控制器controller

process.roles=broker,controller

集群中 互相发现的ip列表

[email protected]:19093,[email protected]:19093,[email protected]:19093

controller.listener.names=CONTROLLER

下图为代码中的kafka.properties

二、创建kafka集群节点192.168.2.92

(1)进入kafka/config/

(2)修改server.properties

KRaft模式集群节点

node.id=92

KRaft模式集群是否开启分区选举

auto.leader.rebalance.enable=true

#KRaft模式集群 认证授权列表

listener.security.protocol.map=CONTROLLER:PLAINTEXT,SASL_PLAINTEXT:SASL_PLAINTEXT

KRaft模式集群 监听所有连接kafka及Kraft请求

listeners=SASL_PLAINTEXT://0.0.0.0:19092,CONTROLLER://0.0.0.0:19093

KRaft模式集群 监听kafka及Kraft请求 第三方服务器访问kafka地址

advertised.listeners=SASL_PLAINTEXT://192.168.2.92:19092,SASL_PLAINTEXT://172.17.0.1:19092,CONTROLLER://192.168.2.92:19093,CONTROLLER://172.17.0.1:19093

集群中当前节点角色 即可作为broker 也可作为控制器controller

process.roles=broker,controller

集群中 互相发现的ip列表

[email protected]:19093,[email protected]:19093,[email protected]:19093

controller.listener.names=CONTROLLER

三、创建kafka集群节点192.168.2.93

(1)进入kafka_2.13-3.8.0_1/config/

(2)修改server.properties

KRaft模式集群节点

node.id=93

KRaft模式集群是否开启分区选举

auto.leader.rebalance.enable=true

KRaft模式集群 认证授权列表

listener.security.protocol.map=CONTROLLER:PLAINTEXT,SASL_PLAINTEXT:SASL_PLAINTEXT

KRaft模式集群 监听所有连接kafka及Kraft请求

listeners=SASL_PLAINTEXT://0.0.0.0:19092,CONTROLLER://0.0.0.0:19093

KRaft模式集群 监听kafka及Kraft请求 第三方服务器访问kafka地址

advertised.listeners=SASL_PLAINTEXT://192.168.2.93:19092,SASL_PLAINTEXT://172.17.0.1:19092,CONTROLLER://192.168.2.93:19093,CONTROLLER://172.17.0.1:19093

集群中当前节点角色 即可作为broker 也可作为控制器controller

process.roles=broker,controller

集群中 互相发现的ip列表

[email protected]:19093,[email protected]:19093,[email protected]:19093

controller.listener.names=CONTROLLER

下图为代码中的kafka.properties

四、配置192.168.2.91节点clientID 其中GuihyzOEQ3ulmBRdr6DVDA是我自己生成的集群ID 可通过UUID的方式自己生成

使用命令进入当前服务器的kafka容器中

(1)docker exec -it 容器ID bash

(2)cd 容器kafka/bin

(3)./kafka-storage.sh format -t GuihyzOEQ3ulmBRdr6DVDA -c .../config/server.properties

(4)重启当前kafka 容器

五、配置192.168.2.92。192.168.2.93节点clientID

内容如 四;

六、验证是否成功

方式一 直接使用命令

进入容器kafka/bin,启动生产者 连接19092端口,发送消息

进入其他节点的容器kafka/bin,启动消费者 接收19092端口消息,可以看到其他节点发送的消息 该消费者均可接收到

方式二 使用kafka-ui

附录:错误解决

如果遇到这个错误则进入 配置文件中配置 log.dirs 目录进行chmod -R 777 log.dirs设置的目录

相关推荐
郭涤生2 小时前
在ubuntu的docker上常用的docker命令
ubuntu·docker
Black_Cat_yyds3 小时前
docker host模式问题
运维·docker·容器
杨浦老苏7 小时前
MCPHub:一站式MCP服务器聚合平台
人工智能·docker·ai·群晖·mcp
冼紫菜7 小时前
Spring 项目无法连接 MySQL:Nacos 配置误区排查与解决
java·spring boot·后端·mysql·docker·springcloud
江畔柳前堤9 小时前
信息论12:从信息增益到信息增益比——决策树中的惩罚机制与应用
运维·深度学习·算法·决策树·机器学习·计算机视觉·docker
搞不懂语言的程序员9 小时前
Kafka Consumer的auto.offset.reset参数有哪些配置?适用场景?
分布式·kafka
sunshine_sean9 小时前
docker 部署kafka命令
docker·容器·kafka
搞不懂语言的程序员11 小时前
设计一个分布式系统:要求全局消息顺序,如何使用Kafka实现?
分布式·kafka
小健学 Java13 小时前
Kafka 与 RabbitMQ、RocketMQ 有何不同?
kafka·rabbitmq·rocketmq
开心码农1号13 小时前
如何理解k8s中的controller
docker·容器·kubernetes