【大数据学习 | kafka高级部分】kafka的kraft集群

首先我们分析一下zookeeper在kafka中的作用

zookeeper可以实现controller的选举,并且记录topic和partition的元数据信息,帮助多个broker同步数据信息。

在新版本中的kraft模式中可以这个管理和选举可以用kafka自己完成,而不再依赖zookeeper。

搭建kraft集群

首先要设定process.roles ,可以人为指定每个人的角色 ,如果指定broker那么它永远是broker,

如果指定controller那么它一定是controller,但是这样的话其他人就没有办法作为主节点了。

所以一般选择broker,controller可以自动进行适配和选举

一般一个集群中会设定大部分是broker,少量的几个是controller+broker方便选举

设定哪几个机器作为协调的机器出现,帮助kafka自身选举

还需要设定对外端口和每个节点的编号

最后还要设定数据存储的位置

log.dirs=/data/kafka-logs

相关推荐
明月5668 小时前
Oracle 误删数据恢复
数据库·oracle
数据与人工智能律师8 小时前
数字迷雾中的安全锚点:解码匿名化与假名化的法律边界与商业价值
大数据·网络·人工智能·云计算·区块链
mykyle10 小时前
Elasticsearch-ik分析器
大数据·elasticsearch·jenkins
itLaity10 小时前
基于Kafka实现简单的延时队列
spring boot·分布式·kafka
Goona_11 小时前
拒绝SQL恐惧:用Python+pyqt打造任意Excel数据库查询系统
数据库·python·sql·excel·pyqt
weixin_lynhgworld11 小时前
淘宝扭蛋机小程序系统开发:重塑电商互动模式
大数据·小程序
程序员编程指南12 小时前
Qt 数据库连接池实现与管理
c语言·数据库·c++·qt·oracle
RPA+AI十二工作室14 小时前
影刀RPA_Temu关键词取数_源码解读
大数据·自动化·源码·rpa·影刀
rufeii14 小时前
[极客大挑战 2019]FinalSQL--布尔盲注
sql
陪我一起学编程14 小时前
MySQL创建普通用户并为其分配相关权限的操作步骤
开发语言·数据库·后端·mysql·oracle