【大数据学习 | kafka高级部分】kafka的kraft集群

首先我们分析一下zookeeper在kafka中的作用

zookeeper可以实现controller的选举,并且记录topic和partition的元数据信息,帮助多个broker同步数据信息。

在新版本中的kraft模式中可以这个管理和选举可以用kafka自己完成,而不再依赖zookeeper。

搭建kraft集群

首先要设定process.roles ,可以人为指定每个人的角色 ,如果指定broker那么它永远是broker,

如果指定controller那么它一定是controller,但是这样的话其他人就没有办法作为主节点了。

所以一般选择broker,controller可以自动进行适配和选举

一般一个集群中会设定大部分是broker,少量的几个是controller+broker方便选举

设定哪几个机器作为协调的机器出现,帮助kafka自身选举

还需要设定对外端口和每个节点的编号

最后还要设定数据存储的位置

log.dirs=/data/kafka-logs

相关推荐
Jonathan Star24 分钟前
嵌套 Git 仓库(Submodule/子模块)
大数据·git·elasticsearch
nvd1133 分钟前
指南:为何及如何使用Envoy作为跳板机代理Cloud SQL
sql
dcloud_jibinbin1 小时前
【uniapp】解决小程序分包下的json文件编译后生成到主包的问题
前端·性能优化·微信小程序·uni-app·vue·json
TDengine (老段)2 小时前
从“数据堆场”到“智能底座”:TDengine IDMP如何统一数据语言
大数据·数据库·物联网·时序数据库·tdengine
liuyunshengsir2 小时前
让 Elasticsearch Delete By Query 请求立即生效
大数据·elasticsearch·jenkins
武子康2 小时前
大数据-148 Flink 写入 Kudu 实战:自定义 Sink 全流程(Flink 1.11/Kudu 1.17/Java 11)
大数据·后端·nosql
ZEERO~2 小时前
夏普比率和最大回撤公式推导及代码实现
大数据·人工智能·机器学习·金融
l1t2 小时前
利用短整数类型和部分字符串优化DuckDB利用数组求解数独SQL
开发语言·数据库·sql·duckdb
培培说证3 小时前
中专生做电商客服,能转电商运营吗?需要学习什么?
大数据·职场和发展
码界奇点3 小时前
时序数据库选型指南从大数据视角看IoTDB的核心优势
大数据·时序数据库·iotdb