【大数据学习 | kafka高级部分】kafka的kraft集群

首先我们分析一下zookeeper在kafka中的作用

zookeeper可以实现controller的选举,并且记录topic和partition的元数据信息,帮助多个broker同步数据信息。

在新版本中的kraft模式中可以这个管理和选举可以用kafka自己完成,而不再依赖zookeeper。

搭建kraft集群

首先要设定process.roles ,可以人为指定每个人的角色 ,如果指定broker那么它永远是broker,

如果指定controller那么它一定是controller,但是这样的话其他人就没有办法作为主节点了。

所以一般选择broker,controller可以自动进行适配和选举

一般一个集群中会设定大部分是broker,少量的几个是controller+broker方便选举

设定哪几个机器作为协调的机器出现,帮助kafka自身选举

还需要设定对外端口和每个节点的编号

最后还要设定数据存储的位置

log.dirs=/data/kafka-logs

相关推荐
不爱学英文的码字机器12 分钟前
数字孪生的浪潮:从虚拟镜像到现实世界的 IT 变革
大数据·python
kaamelai20 分钟前
Kaamel视角下的MCP安全最佳实践
大数据·人工智能·安全
shepherd11122 分钟前
Kafka生产环境实战经验深度总结,让你少走弯路
后端·面试·kafka
anqi2730 分钟前
如何在 IntelliJ IDEA 中编写 Speak 程序
java·大数据·开发语言·spark·intellij-idea
互联科技报1 小时前
孙宇晨将出席迪拜Token2049 与特朗普次子共话加密未来
大数据
科技小E1 小时前
EasyRTC嵌入式音视频通信SDK智能安防与监控系统的全方位升级解决方案
大数据·网络·人工智能·音视频
刘翔在线犯法2 小时前
如何搭建spark yarn模式的集合集群
大数据·分布式·spark
富能量爆棚2 小时前
如何搭建spark yarn 模式的集群
大数据·javascript·spark
Betty_蹄蹄boo3 小时前
在Spark集群中搭建Standalone
大数据·分布式·spark
AORO_BEIDOU3 小时前
遨游三防|30200mAh、双露营灯三防平板,见证堆料天花板
大数据·科技·安全·智能手机·电脑·信息与通信