000003 - Hadoop集群配置

Hadoop集群配置

• [1. 背景](#1. 背景)
• [2. 实践](#2. 实践)
• • [2.1 集群规划](#2.1 集群规划)
  • [2.2 配置文件说明](#2.2 配置文件说明)
  • [2.3 配置](#2.3 配置)

1. 背景

在000002 - Hadoop环境安装，我们已经执行完了如下步骤。接下来就是将不同服务器上的Hadoop配置为一个整体的集群。

1. 准备三台Linux服务器，服务器之间相互配置免密ssh登陆
2. 在其中一台服务器上安装JDK
3. 在其中一台服务器上安装HADOOP
4. 本地运行模式-在一台服务器上运行HADOOP
5. 将JDK和HADOOP分发给其他2台服务器
6. 集群模式运行HADOOP

2. 实践

2.1 集群规划

组件\服务器	node1	node2	node3
HDFS	DateNode + NameNode	DateNode	DateNode + SecondaryNameNode
YARN	NodeManager	NodeManager + ResourceManager	NodeManager

⚠️ NameNode , SecondaryNameNode, ResourceManager互互斥，三者的任意组合都不能配置在一台服务器上。

2.2 配置文件说明

Hadoop 配置文件分两类：默认配置文件和自定义配置文件，只有用户想修改某一默认

配置值时，才需要修改自定义配置文件，更改相应属性值。

默认配置文件：

要获取的默认文件	文件存放在Hadoop 的 jar 包中的位置
core-default.xml	hadoop-common-3.1.3.jar/core-default.xml
hdfs-default.xml	hadoop-hdfs-3.1.3.jar/hdfs-default.xml
yarn-default.xml	hadoop-yarn-common-3.1.3.jar/yarn-default.xml
mapred-default.xml	hadoop-mapreduce-client-core-3.1.3.jar/mapred-default.xml

自定义配置文件：

core-site.xml、hdfs-site.xml、yarn-site.xml、mapred-site.xml 四个配置文件存放在

$HADOOP_HOME/etc/hadoop 这个路径上，用户可以根据项目需求重新进行修改配置。

2.3 配置

参考这里