[2021最新]大数据平台CDH存储组件kudu之启用HA高可用(添加多个master)

今天在做kudu高可用的时候没有参考官网,直接按照常规方式(添加角色--->编辑属性--->启动)结果发现报错?然后参考了一下文档之后发现这玩意儿还有点玄学,做一下记录。


1.添加两个master。kudu master有leader和follower之分,所以必须是奇数(3或者5),添加之后不要启动不要启动不要启动!!!

2.创建目录并赋权,注意对应到自己创建master的时候的目录

bash 复制代码
mkdir -p /data1/kudu/master/knwd  
mkdir -p /data1/kudu/master/kndd 
chown -R kudu:kudu /data1/kudu/master/knwd 
chown -R kudu:kudu /data1/kudu/master/kndd  
chmod 700 /data1/kudu/master/knwd 
chmod 700 /data1/kudu/master/kndd 

注意:第一个是wal的目录,第二个是data的目录,一定要和创建kudu master的时候配置的目录一致,修改为自己配置的对应目录。

3.停止kudu所有的服务(master、tablet server等)

4.在原来的master上获取UUID

bash 复制代码
sudo -u kudu kudu fs dump uuid --fs_wal_dir=/data1/kudu/master/knwd  --fs_data_dirs=/data1/kudu/master/kndd 2>/dev/null

2 > /dev/null 的意思是错误输出重定向到空,如果是标准输出就不处理。如果运行了这段代码啥也没有,说明报错了,把2>/dev/null去掉看看哪里错了。

5.格式化新增的master,并获取UUID

bash 复制代码
sudo -u kudu kudu fs format --fs_wal_dir=/data1/kudu/master/knwd  --fs_data_dirs=/data1/kudu/master/kndd
bash 复制代码
sudo -u kudu kudu fs dump uuid --fs_wal_dir=/data1/kudu/master/knwd  --fs_data_dirs=/data1/kudu/master/kndd 2>/dev/null

6.在原有的master上执行命令重写主机的Raft配置

bash 复制代码
sudo -u kudu kudu local_replica cmeta rewrite_raft_config --fs_wal_dir=/data1/kudu/master/knwd  --fs_data_dirs=/data1/kudu/master/kndd 00000000000000000000000000000000  93277f453ca44959956005520e7a5a4a:cdh01:7051 fc3b427afe1e45d4b7a8a5237312e771:cm01:7051 31a738dfb76b4ec68c265fe56c126b4a:cm02:7051

7.启动原有的master

8.新master节点同步原有master数据

bash 复制代码
 sudo -u kudu kudu local_replica copy_from_remote --fs_wal_dir=/data1/kudu/master/kmwd   --fs_data_dirs=/data1/kudu/master/kmdd 00000000000000000000000000000000 xxx:7051

那一串0是必要的,后面接空格,然后是原master的主机名+端口号

9.启动所有master

10.kudu Web查看三个master的角色

参考链接:apache kudu官网链接

相关推荐
Benszen5 分钟前
Secret详解
linux·运维·服务器
穆利堂-movno18 分钟前
住宅、写字楼、高校、医院物业后勤数字化升级:“收费+巡检+工单”全链路落地思路
大数据
makise-8 分钟前
破译大数据底层密码:从 HDFS 存储基石到现代分布式计算引擎的架构演进
大数据·hdfs·架构
TDengine (老段)19 分钟前
TDengine 连接算子 — Inner/Outer/ASOF/Window Join 的实现与使用
大数据·数据库·物联网·哈希算法·时序数据库·tdengine·涛思数据
春日见24 分钟前
vscode的AI编程插件推荐:
大数据·ide·vscode·算法·机器学习·编辑器·ai编程
Dlrb121127 分钟前
Linux网络编程-网络基础概念(IP, UDP协议)
linux·服务器·网络·网络基础·端口号·ip协议·udp协议
2601_9594819232 分钟前
CPT Markets:把信息披露习惯做到位——路径梳理与提示整理
大数据
小懿互联集成平台1 小时前
金蝶云星空与赛狐跨境电商ERP系统数据互通对接
大数据·金蝶云星空·数据对接·小懿互联·赛狐erp
于先生吖1 小时前
覆盖多行业的AI解决方案:AI知识库智能体落地全解析
大数据·人工智能
小易撩挨踢1 小时前
[特殊字符] Linux 7.1 内核正式发布:距 7.0 仅 9 周,新 CPU/GPU/文件系统全面升级
linux·运维