【大数据学习 | kafka高级部分】kafka的kraft集群

首先我们分析一下zookeeper在kafka中的作用

zookeeper可以实现controller的选举,并且记录topic和partition的元数据信息,帮助多个broker同步数据信息。

在新版本中的kraft模式中可以这个管理和选举可以用kafka自己完成,而不再依赖zookeeper。

搭建kraft集群

首先要设定process.roles ,可以人为指定每个人的角色 ,如果指定broker那么它永远是broker,

如果指定controller那么它一定是controller,但是这样的话其他人就没有办法作为主节点了。

所以一般选择broker,controller可以自动进行适配和选举

一般一个集群中会设定大部分是broker,少量的几个是controller+broker方便选举

设定哪几个机器作为协调的机器出现,帮助kafka自身选举

还需要设定对外端口和每个节点的编号

最后还要设定数据存储的位置

log.dirs=/data/kafka-logs

相关推荐
Bode_20024 小时前
基于大数据分析的全生命周期质量追溯质量评估体系落地方案
大数据·人工智能
serve the people4 小时前
Elasticsearch(1) could you tell me how to use es if i am a beginner
大数据·elasticsearch·jenkins
曹牧4 小时前
oracle:“not all variables bound”
数据库·oracle
数据库百宝箱5 小时前
Oracle RMAN Image Copy 本地恢复
数据库·oracle
一个儒雅随和的男子5 小时前
Elasticsearch出现深度分页问题怎么解决?
大数据·elasticsearch·搜索引擎
AI智图坊5 小时前
多件装组合SKU图的批量生产效率分析:从PS手工到AI自动化的工作流改造
大数据·运维·人工智能·gpt·ai作画·自动化·aigc
jerryinwuhan6 小时前
面向产业带与中小企业数字化转型的电商运营人才培养模式
大数据·人工智能
cmes_love8 小时前
Level 2逐笔成交历史数据下载方法笔记
数据库·笔记·oracle
swordbob8 小时前
MySQL字符集陷阱:从Oracle迁移踩坑到utf8mb4强制规范
数据库·sql