【大数据学习 | kafka高级部分】kafka的kraft集群

首先我们分析一下zookeeper在kafka中的作用

zookeeper可以实现controller的选举,并且记录topic和partition的元数据信息,帮助多个broker同步数据信息。

在新版本中的kraft模式中可以这个管理和选举可以用kafka自己完成,而不再依赖zookeeper。

搭建kraft集群

首先要设定process.roles ,可以人为指定每个人的角色 ,如果指定broker那么它永远是broker,

如果指定controller那么它一定是controller,但是这样的话其他人就没有办法作为主节点了。

所以一般选择broker,controller可以自动进行适配和选举

一般一个集群中会设定大部分是broker,少量的几个是controller+broker方便选举

设定哪几个机器作为协调的机器出现,帮助kafka自身选举

还需要设定对外端口和每个节点的编号

最后还要设定数据存储的位置

log.dirs=/data/kafka-logs

相关推荐
Hy行者勇哥30 分钟前
公司全场景运营中 PPT 的类型、功能与作用详解
大数据·人工智能
liliangcsdn1 小时前
如何基于ElasticsearchRetriever构建RAG系统
大数据·elasticsearch·langchain
TiAmo zhang1 小时前
SQL Server 2019实验 │ 数据库和表的创建、修改与删除
数据库·oracle
乐迪信息1 小时前
乐迪信息:基于AI算法的煤矿作业人员安全规范智能监测与预警系统
大数据·人工智能·算法·安全·视觉检测·推荐算法
极验1 小时前
iPhone17实体卡槽消失?eSIM 普及下的安全挑战与应对
大数据·运维·安全
B站_计算机毕业设计之家2 小时前
推荐系统实战:python新能源汽车智能推荐(两种协同过滤+Django 全栈项目 源码)计算机专业✅
大数据·python·django·汽车·推荐系统·新能源·新能源汽车
hello 早上好2 小时前
深入 Spring 依赖注入底层原理
数据库·sql·spring
The Sheep 20232 小时前
WPF自定义路由事件
大数据·hadoop·wpf
SelectDB技术团队3 小时前
Apache Doris 内部数据裁剪与过滤机制的实现原理 | Deep Dive
大数据·数据库·apache·数据库系统·数据裁剪
WLJT1231231234 小时前
科技赋能塞上农业:宁夏从黄土地到绿硅谷的蝶变
大数据·人工智能·科技