[hadoop高可用架构]

系统环境:Centos7 selinux and iptables is disabled
Hadoop 、jdk、zookeeper程序使用nfs共享同步配置文件

软件版本:hadoop-3.3.6.tar.gz

apache-zookeeper-3.8.6-bin.tar.gz

jdk-8u181-linux-x64.tar.gz

主机列表

|-----------------|-------|--------------------------------------------------|
| IP | 主机名 | 角色 |
| 192.168.247.132 | node1 | NameNode DFSZKFailoverController ResourceManager |
| 192.168.36.133 | node2 | JournalNode QuorumPeerMain DataNode NodeManager |
| 192.168.36.134 | node3 | JournalNode QuorumPeerMain DataNode NodeManager |
| 192.168.36.135 | node4 | JournalNode QuorumPeerMain DataNode NodeManager |
| 192.168.36.136 | node5 | NameNode DFSZKFailoverController ResourceManager |

node2~node5:
yum install -y nfs-utils
mount 192.168.247.132:/home/hadoop/ /home/hadoop/

zookeeper集群部署

安装zookeeper

修改目录所有权

root@node1 \~# chown -R hadoop:hadoop /home/hadoop/apache-zookeeper-3.8.6-bin

清理之前的数据

hadoop@node1 \~$ rm -fr /tmp/*

hadoop@node2 \~$ rm -fr /tmp/*

hadoop@node3 \~$ rm -fr /tmp/*

修改配置文件

hadoop@node2 \~$ cd /home/hadoop/apache-zookeeper-3.8.6-bin/conf

hadoop@node2 conf$ cp zoo_sample.cfg zoo.cfg

在/tmp/zookeeper目录中创建myid文件,写入一个唯一的数字

hadoop@node2 \~$ mkdir /tmp/zookeeper

hadoop@node2 \~$ echo 1 > /tmp/zookeeper/myid

hadoop@node3 \~$ echo 2 > /tmp/zookeeper/myid

hadoop@node4 \~$ echo 3 > /tmp/zookeeper/myid

在各节点启动服务

bin/zkServer.sh start

查看节点状态

bin/zkServer.sh status

Hadoop配置

编辑 core-site.xml

hadoop@node1 hadoop$ vim /home/hadoop/hadoop/etc/hadoop/core-site.xml

<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://masters</value>
</property>

<property>
<name>ha.zookeeper.quorum</name>
<value>192.168.247.133:2181,192.168.247.134:2181,192.168.247.135:2181</value>
</property>
</configuration>

编辑 hdfs-site.xml

启动hdfs集群(按顺序启动)

确认启动zookeeper集群(node2、node3、node4)

在三个DN上依次启动journalnode(第一次启动hdfs必须先启动journalnode)

hadoop@node4 \~ cd hadoop \[hadoop@node4 hadoop\] bin/hdfs --daemon start journalnode

格式化HDFS集群(node1上执行)

hadoop@node1 hadoop$ bin/hdfs namenode -format
Namenode数据默认存放在/tmp,需要把数据拷贝到h2

hadoop@node1 hadoop$ scp -r /tmp/hadoop-hadoop node5:/tmp
格式化zookeeper (只需在h1上执行即可)

hadoop@node1 hadoop$ bin/hdfs zkfc -formatZK

启动hdfs集群(只需在h1上执行即可)

hadoop@node1 hadoop$ sbin/start-dfs.sh

查看各节点状态

测试故障自动切换


杀掉h1主机的namenode进程后依然可以访问,此时h2转为active状态接管namenode

hadoop@node1 hadoop$ bin/hdfs --daemon start namenode
启动h1上的namenode,此时为standby状态

hadoop@node5 hadoop$ bin/hdfs dfs -mkdir /user

hadoop@node5 hadoop$ bin/hdfs dfs -mkdir /user/hadoop

hadoop@node5 hadoop$ bin/hdfs dfs -put input

yarn高可用 配置

编辑 mapred-site.xml

hadoop@node1 \~$ cd /home/hadoop/hadoop/etc/hadoop

hadoop@node1 hadoop$ vim mapred-site.xml
<configuration>

<property>

<name>mapreduce.framework.name</name>

<value>yarn</value>

</property>

<property>

<name>mapreduce.application.classpath</name>

<value>HADOOP_MAPRED_HOME/share/hadoop/mapreduce/\*:HADOOP_MAPRED_HOME/share/hadoop/mapreduce/lib/*</value>

</property>

</configuration>

编辑 yarn-site.xml

启动yarn服务

hadoop@node1 hadoop$ sbin/start-yarn.sh

测试yarn故障切换

稍后手动恢复rm

相关推荐
怕浪猫6 小时前
全球 3D 网络地球的实时通信节点,来看看这四种交互地球,满足你对物理互联网的所有好奇
面试·架构·github
ZhengEnCi9 小时前
项目越写越乱?先别改架构:用一次目录重排 + 一份可复算的体检脚本把乱治住
python·架构·ai编程
数字新视界10 小时前
数据中心DCIM管理系统助力提升机房管理效率与安全性
大数据·人工智能·物联网·信息与通信·动环监控系统
阿里云大数据AI技术10 小时前
孩子王基于阿里云Data Agent的智能体实践:300+Agent 覆盖400+业务场景
大数据·人工智能·agent
wy_hhxx12 小时前
《Agent设计模式 图解可复用智能体架构》上篇内容整理
设计模式·架构·ai agent
用户76155938363812 小时前
如何绕过 Rust 孤儿规则
架构
HelloWorld00113 小时前
面对不可逆外部支付回调:基于 TCC 与最大努力通知保证分布式资产终态一致性
架构
武子康13 小时前
H3-World 扩展跳跃与开门:新动作怎样进入训练数据?
大数据·人工智能·算法
你三大爷13 小时前
Seata全局锁泄漏:从上游PR-backport到生产零事故发布实战
架构
软件技术NINI14 小时前
DeepSeek 大模型落地应用实战指南
大数据·人工智能