zookeeper

茶海棠16 小时前
hadoop·zookeeper·kafka·hbase
Hadoop+zookeeper+HBase+Kafka集群搭建全流程本文档仅用于流程参考。 如有错误请联系我进行修改。 行文比较粗糙,还请见谅。 请善用AI进行辅助。简述大概流程: 首先创建第一台虚拟机,然后搭建单机伪分布式Hadoop,并使用自带的wordcount进行验证。 然后修改为1主2从分布式集群,逐步引入zookeeper、HBase、Kafka,最后使用自动化脚本进行快速启动集群、停止集群、重启集群、查看集群状态。
螺蛳粉 螺蛳粉6 天前
物联网·zookeeper·kafka·消息队列·parcel·cdh集成·csd
CDH第七篇:CDH 集成 Kafka 实战:CSD + Parcel 组合拳,先装 ZooKeeper 是铁律目录 一、为什么 Kafka 要"外挂"进 CDH 二、集成前必懂:CSD 与 Parcel 的分工 三、4 步完成 Kafka 集成 四、小内存救命调参:Broker 堆改 256M 五、功能验证:建 Topic 收发消息 六、结语与系列预告 一、为什么 Kafka 要"外挂"进 CDH 在物联网架构案例里,海量设备上报数据先打进消息队列削峰,再落存储、进计算。Kafka 是这一层的标准选择。
逃逸线LOF18 天前
zookeeper·eureka·consul
Cloud服务注册中心异同点对比Nacos|Eureka|zookeeper|consulC Consistency 一致性 所有节点访问同一份数据,同一时刻读到的数据完全一样。写操作完成后,任意节点查询都能拿到最新值。
Sayai19 天前
大数据·运维·分布式·zookeeper·kafka
Kafka 2.8→3.9.1 跨大版本升级实战:ZooKeeper 同步升级、数据目录迁移与回滚预案全流程一套跑了多年的日志平台 Kafka 集群(2.8.0,外置 ZooKeeper 3.5)要升级到 3.9.1。跨这么多大版本、还是 ZooKeeper 模式,滚动升级的路基本走不通——本文记录一次停机窗口内全量升级的完整实战:升级路线选择、停止顺序、Kafka 与 ZooKeeper 的数据目录/配置全量迁移、启动验证清单、以及随时可退的回滚预案。文中命令全部来自真实升级过程,IP、路径已做脱敏替换。
SparklingTheo20 天前
分布式·zookeeper·云原生
【Zookeeper】源码阅读源码以及注释在这个gitee仓库中 : https://gitee.com/ChauserMondieus/zk-sourcecode
程序员梅雨20 天前
java·大数据·linux·分布式·后端·zookeeper·中间件
ZooKeeper面经总结有三种角色,Leader、Follower、Observer Leader是核心,它是事务请求的唯一调度和处理者,所有写请求最终都由它处理,并保证整个集群事务处理的顺序性。 Follower会做四件事,处理客户端的非事务请求,把事务请求转发给Leader,参与事务Proposal的投票,参与Leader选举投票。 Observer只提供非事务的查询服务,既不参与Proposal投票,也不参与Leader选举投票。
Devlive 开源社区21 天前
hdfs·zookeeper·开源
GrantForge 2026.1.0 正式发布:开源统一权限管理平台,新增 HDFS、ZooKeeper、MySQL 权限控制与数据脱敏!最近一直在持续开发和完善 GrantForge,今天正式发布 2026.1.0 版本!GrantForge 是一款基于 Spring Boot、Spring Security 和 Vue 3 构建的开源权限管理平台。
yumgpkpm23 天前
大数据·hive·hadoop·postgresql·zookeeper·spark·hbase
CDP 7.3.1(Cloudera Runtime 7.3.1)VS Acceldata ODP 3.3.6.4 核心引擎详细版本对比CDP Private Cloud Base 7.3.1(Cloudera Runtime 7.3.1)VS Acceldata ODP 3.3.6.4 核心引擎详细版本对比
yumgpkpm23 天前
服务器·人工智能·hadoop·python·华为·zookeeper·hbase
(CDH 7)CDP Private Cloud Base 7.3.1 → Acceldata ODP 3.3.6.4 引擎迁移风险评估表风险等级:🔴高风险(需大量代码改造,业务逻辑可能出错);🟡中风险(少量改造,回归测试必做);🟢低风险(基本兼容,仅验证)
yumgpkpm24 天前
大数据·运维·服务器·hadoop·华为·zookeeper·hbase
Acceldata ODP 3.3.6.4 vs CDP Private Cloud Base 7.3.2 对比Acceldata ODP 3.3.6.4 vs CDP Private Cloud Base 7.3.2 对比表
Jinkxs1 个月前
java·zookeeper·java-zookeeper
Zookeeper - Java API 实现节点的创建与删除开发👋 大家好,欢迎来到我的技术博客! 📚 在这里,我会分享学习笔记、实战经验与技术思考,力求用简单的方式讲清楚复杂的问题。 🎯 本文将围绕Zookeeper这个话题展开,希望能为你带来一些启发或实用的参考。 🌱 无论你是刚入门的新手,还是正在进阶的开发者,希望你都能有所收获!
Gl�ria2 个月前
zookeeper
ZooKeeper 写入机制ZooKeeper 写入需超过半数节点确认才算成功。这是 ZooKeeper 保证数据一致性的核心机制之一。
hm宋2 个月前
分布式·zookeeper·云原生
ZooKeeper 容灾切换免重启实践:域名化配置与客户端自动迁移一次 ZK 集群容灾切换演练,暴露出客户端"IP 固化 + 一次性注册"两个隐患。本文记录我们把 biz-cache-client 改造为支持域名容灾切换的完整过程:从对 ZooKeeper 3.4.14 / Curator 4.1.0 源码的逐条事实核验,到"被动 / 主动 / 自愈"三条路径的架构设计,再到关键实现的取舍与踩坑。改造零 API 变化、零必填配置,使用方只需把 zkServerAddr 从裸 IP 换成域名。
zhougl9962 个月前
分布式·微服务·zookeeper
从ZooKeeper到微服务生态:分布式协调核心原理在微服务、大数据分布式架构普及的当下,服务节点协同、配置统一管理、集群高可用、分布式并发控制等问题,是所有分布式系统绕不开的核心痛点。而 ZooKeeper 作为经典的分布式协调中间件,是解决这类问题的基石组件。
JLWcai202510092 个月前
mongodb·zookeeper·spark·memcached·storm
树脂砂轮质保与科学存放导语|Preface树脂砂轮凭借自锐性佳、磨削精度高、性价比突出的优势,广泛应用于各类工业磨削场景。产品综合性能不仅取决于生产工艺,更与质保周期、存放方式密切相关。科学管控保质期、规范仓储存放,是保障磨削精度、规避安全风险、降低耗材损耗的关键。
Sayai2 个月前
zookeeper·架构·kafka
Kafka 去 ZooKeeper 实战评估:KRaft 模式架构解析与生产落地决策指南Kafka 4.0 已经彻底移除了 ZooKeeper,但生产上还有大量集群跑在 ZK 模式上——要不要迁 KRaft、什么时候迁、迁了会踩什么坑?本文基于一次内部技术评估整理:架构原理对比、九个维度逐项评估、核心配置示例、版本演进时间线,最后给出一棵"上不上 KRaft"的决策树。结论先行:新集群直接上,存量集群从 3.6 开始规划迁移,测试环境今天就该用起来。
Sayai2 个月前
分布式·zookeeper·kafka
Kafka 集群开启 SASL 认证实战(二):外置 ZooKeeper 之 kafka 与 zk 间认证很多场景下 Kafka broker 对内网客户端可以不加认证,但 kafka 与 ZooKeeper 之间的通道必须锁——zk 里存着 broker 元数据和消费者位移,谁都能连上去 rmr / 一键清空。本篇讲外置 ZooKeeper 场景下只做 kafka↔zk 间 SASL 认证的最小配置,不动 broker 对客户端的协议,业务应用零改造。配置在 ZooKeeper 3.6.3 + Kafka 2.5.1 生产集群验证通过。
Sayai2 个月前
分布式·zookeeper·kafka
Kafka 集群开启 SASL 认证实战(一):内置 ZooKeeper 场景,JAAS 配置全流程Kafka 集群开启 SASL 认证实战(一):内置 ZooKeeper 场景,JAAS 配置全流程# Kafka 集群开启 SASL 认证实战(一):内置 ZooKeeper 场景,JAAS 配置全流程
Sayai2 个月前
zookeeper·kafka·linq
Kafka 集群开启 SASL 认证实战(三):外置 ZooKeeper 完整版,quorum 认证 + ACL 访问控制本系列终章。前两篇分别解决了"内置 zk 全套认证"和"外置 zk 只锁通道"两个场景,这一篇把安全等级拉满:kafka↔zk 认证 + zk ACL 白名单 + kafka 客户端认证三层一起上,做到 zk 连不上、kafka 进不去、topic 动不了。配置在 ZooKeeper 3.6.3 + Kafka 2.5.1 生产集群完整验证。
JavaPub-rodert2 个月前
分布式·zookeeper·eureka
为什么 ZooKeeper 选择 CP,而 Eureka 选择 AP?在 Java 后端面试里,只要聊到分布式系统,几乎绕不开一个问题:为什么 ZooKeeper 选择 CP,而 Eureka 选择 AP?