【大数据学习 | kafka高级部分】kafka的kraft集群

首先我们分析一下zookeeper在kafka中的作用

zookeeper可以实现controller的选举,并且记录topic和partition的元数据信息,帮助多个broker同步数据信息。

在新版本中的kraft模式中可以这个管理和选举可以用kafka自己完成,而不再依赖zookeeper。

搭建kraft集群

首先要设定process.roles ,可以人为指定每个人的角色 ,如果指定broker那么它永远是broker,

如果指定controller那么它一定是controller,但是这样的话其他人就没有办法作为主节点了。

所以一般选择broker,controller可以自动进行适配和选举。

一般一个集群中会设定大部分是broker,少量的几个是controller+broker方便选举。

设定哪几个机器作为协调的机器出现,帮助kafka自身选举

还需要设定对外端口和每个节点的编号

最后还要设定数据存储的位置

log.dirs=/data/kafka-logs

相关推荐
字节跳动数据平台13 小时前
1000次专业数据集调用,这次我们免费送!
大数据
龙亘川13 小时前
面向绿色低碳城市:一网统管打通交通与能源治理的关键路径
大数据·人工智能·智慧城市·能源·开源软件
冰暮流星13 小时前
sql之is not null运算符
数据库·sql·oracle
启效云13 小时前
AI赋能制造丨启效云亮相2026工业母机产业链高质量发展大会
大数据·人工智能·制造
此时不提桶,更待何时13 小时前
06-16-B-Kafka面试与生产事故实战
分布式·面试·kafka
冰暮流星13 小时前
sql之is null 运算符
java·数据库·sql
TK泰妞13 小时前
如何利用跨境女装提示词库提升销售效率?从商品图片到TikTok内容的完整方法
大数据·人工智能
言午说数据14 小时前
Parquet、Lance、Vortex 争的,其实是一张行号到字节的映射表。
大数据
2601_9629666414 小时前
数学与应用数学专业准备风险管理岗,2027届秋招金融知识和工具技能怎么补?
python·sql
雪雪爱冲浪14 小时前
AI 智能体如何通过 auth.md 注册 Bright Date:完整实操指南
大数据·人工智能