(十一)大数据实战——hadoop高可用之HDFS手动模式高可用

前言

本节内容我们介绍一下hadoop在手动模式下如何实现HDFS的高可用,HDFS的高可用功能是通过配置多个 NameNodes(Active/Standby)实现在集群中对 NameNode 的热备来解决上述问题。如果出现故障,如机器崩溃或机器需要升级维护,这时可通过此种方式将 NameNode很快的切换到另外一台机器,并通过JournalNode实现主备节点的数据同步。

正文

  • 集群规划

HDFS高可用集群规划
hadoop101 hadoop02 hadoop03 NameNode NameNode NameNode JournalNode JournalNode JournalNode DataNode DataNode DataNode

NameNode:控制节点

JournalNode:控制节点数据同步

DataNode:数据节点

  • 清除hadoop集群下的data和logs目录

-清除hadoop101的data和logs目录,hadoop102和hadoop103同上步骤

  • 在/opt/module/hadoop-3.1.3/etc/hadoop目录下修改core-site.xml配置文件
  • core-site.xml配置文件

    <configuration> <property> <name>fs.defaultFS</name> <value>hdfs://mycluster</value> </property> <property> <name>hadoop.tmp.dir</name> <value>/opt/module/hadoop-3.1.3/data</value> </property> </configuration>
  • 在/opt/module/hadoop-3.1.3/etc/hadoop目录下修改hdfs-site.xml配置文件
  • 修改hdfs-site.xml配置文件

    <configuration> <property> <name>dfs.namenode.name.dir</name> <value>file://${hadoop.tmp.dir}/nn</value> </property> <property> <name>dfs.datanode.data.dir</name> <value>file://${hadoop.tmp.dir}/dn</value> </property> <property> <name>dfs.journalnode.edits.dir</name> <value>${hadoop.tmp.dir}/jn</value> </property> <property> <name>dfs.nameservices</name> <value>mycluster</value> </property> <property> <name>dfs.ha.namenodes.mycluster</name> <value>nn1,nn2,nn3</value> </property> <property> <name>dfs.namenode.rpc-address.mycluster.nn1</name> <value>hadoop101:8020</value> </property> <property> <name>dfs.namenode.rpc-address.mycluster.nn2</name> <value>hadoop102:8020</value> </property> <property> <name>dfs.namenode.rpc-address.mycluster.nn3</name> <value>hadoop103:8020</value> </property> <property> <name>dfs.namenode.http-address.mycluster.nn1</name> <value>hadoop101:9870</value> </property> <property> <name>dfs.namenode.http-address.mycluster.nn2</name> <value>hadoop102:9870</value> </property> <property> <name>dfs.namenode.http-address.mycluster.nn3</name> <value>hadoop103:9870</value> </property> <property> <name>dfs.namenode.shared.edits.dir</name> <value>qjournal://hadoop101:8485;hadoop102:8485;hadoop103:8485/mycluster</value> </property> <property> <name>dfs.client.failover.proxy.provider.mycluster</name> <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value> </property> <property> <name>dfs.ha.fencing.methods</name> <value>sshfence</value> </property> <property> <name>dfs.ha.fencing.ssh.private-key-files</name> <value>/home/hadoop/.ssh/id_rsa</value> </property> </configuration>
  • 分发配置文件到其它hadoop集群服务器
  • 启动hadoop集群的journalnode服务,用于同步namenode数据
  • 命令:hdfs --daemon start journalnode

  • 对hadoop101节点数据格式化并启动namenode服务
  • 数据格式化命令:hdfs namenode -format
  • 启动namenode服务命令:hdfs --daemon start namenode
  • 在hadoop102与hadoop103上面执行以下命令同步hadoop101的元数据信息

命令:hdfs namenode -bootstrapStandby

  • 启动hadoop102与hadoop103的namenode服务

命令:hdfs --daemon start namenode

  • 在所有节点开启datanode服务

命令:hdfs --daemon start datanode

  • 将hadoop101激活为主节点

命令:hdfs haadmin -transitionToActive nn1

  • 查看节点状态

  • 自动模式存在的问题
  • 如果namenode挂机之后,想直接故障转移,把其它节点升级为namenode主节点是不行的,必须先将挂机的namenode重新启动才行,手动模式必须保证所有namenode节点必须是存活状态

  • 在有active状态下的namenode节点,是无法切换其它节点为active节点

  • 集群中只有一个节点是active

结语

hadoop高可用之HDFS手动模式高可用内容到这里就结束了,我们下期见。。。。。。

相关推荐
Elastic 中国社区官方博客2 小时前
使用 Elastic AI Assistant for Search 和 Azure OpenAI 实现从 0 到 60 的转变
大数据·人工智能·elasticsearch·microsoft·搜索引擎·ai·azure
Francek Chen4 小时前
【大数据技术基础 | 实验十二】Hive实验:Hive分区
大数据·数据仓库·hive·hadoop·分布式
Natural_yz7 小时前
大数据学习17之Spark-Core
大数据·学习·spark
莫叫石榴姐8 小时前
数据科学与SQL:组距分组分析 | 区间分布问题
大数据·人工智能·sql·深度学习·算法·机器学习·数据挖掘
魔珐科技9 小时前
以3D数字人AI产品赋能教育培训人才发展,魔珐科技亮相AI+教育创新与人才发展大会
大数据·人工智能
上优10 小时前
uniapp 选择 省市区 省市 以及 回显
大数据·elasticsearch·uni-app
samLi062011 小时前
【更新】中国省级产业集聚测算数据及协调集聚指数数据(2000-2022年)
大数据
Mephisto.java11 小时前
【大数据学习 | Spark-Core】Spark提交及运行流程
大数据·学习·spark
EasyCVR12 小时前
私有化部署视频平台EasyCVR宇视设备视频平台如何构建视频联网平台及升级视频转码业务?
大数据·网络·音视频·h.265
hummhumm12 小时前
第 22 章 - Go语言 测试与基准测试
java·大数据·开发语言·前端·python·golang·log4j