Hadoop 3.X HA集群部署

准备工作

1、确认各个服务器网络是否互通、时间是否同步

2、确认各个节点部署那些组件

|-----------------|------------|----------------------------------------------------------------------------------------------|
| ip地址 | host名 | 部署组件 |
| 192.168.190.130 | h202406131 | NameNode ResourceManager QuorumPeerMain JournalNode DFSZKFailoverController JobHistoryServer |
| 192.168.190.131 | h202406132 | NameNode ResourceManager QuorumPeerMain JournalNode DFSZKFailoverController JobHistoryServer |
| 192.168.190.132 | h202406133 | QuorumPeerMain JournalNode DataNode NodeManager |
| 192.168.190.133 | h202406134 | DataNode NodeManager |
| 192.168.190.134 | h202406135 | DataNode NodeManager |
| 192.168.190.135 | h202406136 | DataNode NodeManager |
| 192.168.190.136 | h202406137 | DataNode NodeManager |
| 192.168.190.137 | h202406138 | DataNode NodeManager |

3、配置各个节点的 /etc/hosts

4、配置用户的免密登录

5、确认各个组件版本

|-----------|-------|
| Hadoop | 3.3.1 |
| zookeeper | 3.7.0 |
| jdk | 1.8 |

6、确认安装目录,并配置环境变量

安装jdk

bash 复制代码
# 安装java
yum install -y java-1.8.0-openjdk.x86_64


# 配置环境变量
vim /etc/profile

export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.372.b07-1.el7_9.x86_64/jre
export CLASSPATH=.:$JAVA_HOME/jre/lib/rt.jar:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export PATH=$PATH:$JAVA_HOME/bin

# 验证安装
java -version

安装zookeerper

下载路径:http://archive.apache.org/dist/zookeeper/

bash 复制代码
cd /data
tar -xf zookeeper-3.7.0.tar.gz
mv zookeeper-3.7.0 zookeeper

安装hadoop

下载命令:

wget https://downloads.apache.org/hadoop/common/hadoop-3.3.1/hadoop-3.3.1-aarch64.tar.gz

启动步骤

1、各个zk节点启动zk

zk启动命令:./bin/zkServer.sh start

zk状态查询命令:./bin/zkServer.sh status

2、各个journalnode节点启动journalnode

启动命令:hadoop-daemon.sh start journalnode

3、在nn1节点上格式化、并启动namenode

初始化namenode:hdfs namenode -format

启动namenode:hadoop-deaemon.sh start namedoe

4、在nn2节点上格同步nn1的节点信息并启动namenode

同步nn1:hdfs namenode -bootstarpStandby

启动namenode:hadoop-deaemon.sh start namedoe

5、关闭nn1和nn2的namenode并初始化HA在zk中的状态

初始化zkfc:hdfs zkfc -formatZK

6、nn1启动历史服务器

JobHistoryServer启动:mr-jobhistory-daemon.sh start JobHistoryServer

7、nn1和nn2启动zkfc

启动zkfc:hadoop-deaemon.sh start zkfc

8、datanode节点启动datanode服务

datanode启动:hadoop-deaemon.sh start datanode

9、nn1和nn2节点启动 resourcemanager

resourcemanager启动:yarn-daemon.sh start resourcemanager

10、NodeManager节点启动NodeManager服务

NodeManager启动:yarn-daemon.sh start nodemanager

相关推荐
量子网络15 分钟前
debian 如何进入root
linux·服务器·debian
我们的五年22 分钟前
【Linux课程学习】:进程描述---PCB(Process Control Block)
linux·运维·c++
soso196832 分钟前
DataWorks快速入门
大数据·数据仓库·信息可视化
The_Ticker38 分钟前
CFD平台如何接入实时行情源
java·大数据·数据库·人工智能·算法·区块链·软件工程
java1234_小锋43 分钟前
Elasticsearch中的节点(比如共20个),其中的10个选了一个master,另外10个选了另一个master,怎么办?
大数据·elasticsearch·jenkins
Elastic 中国社区官方博客44 分钟前
Elasticsearch 开放推理 API 增加了对 IBM watsonx.ai Slate 嵌入模型的支持
大数据·数据库·人工智能·elasticsearch·搜索引擎·ai·全文检索
我的运维人生44 分钟前
Elasticsearch实战应用:构建高效搜索与分析平台
大数据·elasticsearch·jenkins·运维开发·技术共享
大数据编程之光1 小时前
Flink Standalone集群模式安装部署全攻略
java·大数据·开发语言·面试·flink
B站计算机毕业设计超人1 小时前
计算机毕业设计SparkStreaming+Kafka旅游推荐系统 旅游景点客流量预测 旅游可视化 旅游大数据 Hive数据仓库 机器学习 深度学习
大数据·数据仓库·hadoop·python·kafka·课程设计·数据可视化
我言秋日胜春朝★1 小时前
【Linux】进程地址空间
linux·运维·服务器