ZooKeeper在kafka集群中有何作用

Zookeeper 存储的 Kafka 信息

(1)启动 Zookeeper 客户端。

bin/zkCli.sh

(2)通过 ls 命令可以查看 kafka 相关信息。

复制代码
[zk: localhost:2181(CONNECTED) 2] ls /kafka

zk中有一个节点 consumers 这个里面,老版本0.9版本之前,存放的是消费者的偏移量(offset,这次消费者消费到哪个地方了,下次从这个地方继续消费),新版本的根本没放在zk中,直接放在集群中了。

可以借助一个工具:漂亮的zoo,通过图形化界面查看zk中的消息。

1. 集群协调

ZooKeeper 为 Kafka 集群中的多个 Broker 提供了领导选举机制。当集群中的主节点(Leader Broker)因故障下线时,ZooKeeper 负责协调选举新的 Leader。这保证了 Kafka 集群的高可用性。

2. 配置管理

ZooKeeper 存储了 Kafka 集群的关键元数据,如主题配置信息、分区信息等。当这些配置需要更新时,ZooKeeper 保证了所有 Broker 都可以获取到最新的配置信息。

3. 同步

ZooKeeper 在 Kafka 的分布式环境中保证数据的一致性。它管理 Kafka 集群中的所有 Broker,确保它们的状态同步。

4. 节点管理

ZooKeeper 跟踪 Kafka 集群中每个节点的状态和信息。这包括节点加入或离开集群的情况,以及节点的健康状况。

相关推荐
光锥智能2 分钟前
小鹏第一位机器人自己走下产线
大数据·人工智能
GISMagic5 分钟前
Agent学习,写在开始之前
大数据·学习·agent
Capricorn198820 分钟前
知芽 Notebook Skill 引用存在性校验与单元记忆破解幽灵引用危机
大数据·论文阅读·人工智能·论文笔记
hgfsjk1 小时前
跨境电商ERP系统软件哪个好?2026年选型指南
大数据·经验分享·笔记·其他
APItesterCris2 小时前
告别人工盯品!借助 Open‑Claw 快速搭建电商商品全自动监控与数据分析系统(完整实操代码)
java·大数据·前端·数据库
BYSJMG2 小时前
计算机毕设选题推荐:基于大数据的公共交通运营数据分析与可视化,Spark+K-Means聚类城市运营模式
大数据·hadoop·信息可视化·数据分析·spark·kmeans·课程设计
顧棟2 小时前
【ES实战】 低版本Elasticsearch(不具备CCR)集群迁移
大数据·elasticsearch·搜索引擎
AIwenIPgeolocation3 小时前
告别“数据孤岛”:可信数据空间如何打通产业链、城市群?
大数据·人工智能
云上工程笔记3 小时前
四柱记账法和复式记账法有什么区别?复式记账为什么更适合查错和对账
大数据·前端·人工智能
微三云生态系统架构师-彭丹3 小时前
区域拆分独立分红池系统设计:解决大盘分红迟滞的四维拆分引擎
大数据·人工智能