Kafka数据迁移至nfs

Zookeeper Kafka部署

硬件环境信息表

bash 复制代码
IP 192.168.40.10
IP 192.168.40.11
IP 192.168.40.12
IP 192.168.40.13    //nfs使用

部署路径:/usr/local
Cpu内存: 4C/16G
磁盘:200G

应用安装目录布局

zookeeper

zookeeper在单机环境部署了3个实例,进程侦听端口分别为2184、2185、2186,myid分别为3、4、5。

kafka

kafka在单机环境部署了3个实例,进程侦听端口分别为9092、9093、9094,broker id分别为0、1、2。

zookeeper集群节点

zookeeper的运行模式有standalone和replicated两种模式。

zookeeper集群的角色有Leader、follower和Observer。

Leader作为整个ZooKeeper集群的主节点,负责响应所有对ZooKeeper状态变更的请求,它会将每个状态更新请求进行排序和编号,以便保证整个集群内部消息处理的FIFO。

Follower响应本服务器上的读请求外,处理leader的提议,并在leader提交该提议时在本地也进行提交。

Observer和Follower比较相似,只有一些小区别:首先observer不属于法定人数,不参加选举也不响应提议;其次是observer不需要将事务持久化到磁盘,一旦observer被重启,需要从leader重新同步整个名字空间。如果ZooKeeper集群的读取负载很高,或者客户端多到跨机房,可以设置一些observer服务器,以提高读取的吞吐量。

另外需要注意的是,leader和follower构成ZooKeeper集群的法定人数,也就是说,只有他们才参与新leader的选举、响应leader的提议。

zookeeper集群模式部署,因其分布式机制中的leader投票选举算法因素,为了保证Zookeeper本身的Leader投票选举顺利进行,通常将Server部署为奇数个,并且只允许不过半的节点数停机,若需容忍n个Server的失败,zookeeper集群必须至少保证有2n+1个Server节点。

当前zookeeper集群部署为replicated模式,节点数为3个。

kafka集群节点

本次测试的kafka集群节点数为3个,分布式模式部署运行,一个kafka集群由多个kafka实例组成,每个kafka实例就是一个broker,每个broker有一个唯一的broker id,zookeeper来选举出一个broker成为kafka集群中的leader,kafka集群的broker、producer、consumer、topic、partition、isr也依赖于zookeeper来保存meta信息来保证集群系统可用性。

部署 NFS 存储

NFS 存储主要是为了给 Kafka、ZooKeeper 提供稳定的后端存储,当 Kafka、ZooKeeper 的 Pod 发生故障重启或迁移后,依然能获得原先的数据。

另外我们会在nfs创建zookeeper kafka的存储目录。

安装 NFS

这里我选择13这个节点创建 NFS 存储,首先执行如下命令安装 NFS:

bash 复制代码
yum -y install nfs-utils
yum -y install rpcbind

创建共享文件夹

编辑 /etc/exports 文件:

bash 复制代码
vi /etc/exports
/usr/local/kafka/pv1 *(rw,sync,no_root_squash)
/usr/local/kafka/pv2 *(rw,sync,no_root_squash)
/usr/local/kafka/pv3 *(rw,sync,no_root_squash)
/usr/local/zookeeper/pv1 *(rw,sync,no_root_squash)
/usr/local/zookeeper/pv2 *(rw,sync,no_root_squash)
/usr/local/zookeeper/pv3 *(rw,sync,no_root_squash)

保存退出后执行如下命令重启服务:

bash 复制代码
systemctl restart rpcbind
systemctl restart nfs
systemctl enable nfs

执行exportfs -v 命令可以显示出所有的共享目录:

而其他的 zookeeper kafka节点上需要执行如下命令安装 nfs-utils 客户端:

bash 复制代码
yum -y install nfs-util

迁移步骤

因为kafka zookeeper数据存储在本地,nfs服务端存储目录挂载到本地,只需要把本地数据目录分别拷贝到nfs相应数据目录即可,迁移即可完成。

迁移后再做kafka的生产消费测试,生产和消费成功。

再消费和查询历史数据,也可以消费到和查询到,证明迁移成功。

相关推荐
goehou5 小时前
Kafka 的默认配置适合演示,不适合生产
kafka·消息队列·幂等·ai agent
国科安芯7 小时前
CAN FD一升到5Mbps就误码:位定时、终端与共模的现场排查顺序——ASM1042S2S在星载分布式总线中的FAE实践
分布式·安全·架构·canfd·dcdc·抗辐射·载荷
ClouGence10 小时前
开源数据库管理工具 CloudDM 发布新版本,支持 GreptimeDB 数据源
数据库·kafka
用户3610588626121 天前
KafkaProducer 源码深度剖析:筛选可以发送消息的 Broker
kafka
西木Qi1 天前
Kafka消息中间件单机版安装配置
分布式·kafka
OriginCoding1 天前
一个 JDK 跑起六个分布式挑战:Kotlin 版 Gossip Glomers(一)
分布式·kotlin
stark张宇2 天前
分布式事务方案设计与选型思考:2PC、TCC
分布式·架构
飞奔的瓜牛2 天前
Kafka 生产实践指南:使用要点、性能优化与运维维护
中间件·性能优化·kafka
时间的拾荒人2 天前
Redis 典型应用:缓存与分布式锁原理
redis·分布式·缓存·面试·架构
筑梦之人3 天前
Elasticsearch 9.x 从入门到精通(5/7):集群、分布式与运维
运维·分布式·elasticsearch