hadoop集群部署教程

大数据魔法师2024-03-13 16:54

文章目录

  • 前言
  • 一、相关介绍
    • [1. 配置文件位置](#1. 配置文件位置)
      • [1.1 只读默认配置文件](#1.1 只读默认配置文件)
      • [1.2 可修改配置文件](#1.2 可修改配置文件)
      • [1.3 相关环境变量配置文件](#1.3 相关环境变量配置文件)
  • 二、安装准备
    • [1. 准备centos](#1. 准备centos)
    • [2. 配置集群免密登录](#2. 配置集群免密登录)
    • [3. 部署规划](#3. 部署规划)
    • [4. 安装条件](#4. 安装条件)
    • [5. 安装jdk](#5. 安装jdk)
  • 三、安装hadoop
    • [1. 下载并解压hadoop](#1. 下载并解压hadoop)
    • [2. 设置环境变量](#2. 设置环境变量)
      • [2.1 设置hadoop安装目录环境变量](#2.1 设置hadoop安装目录环境变量)
      • [2.2 设置hadoop的root用户环境变量](#2.2 设置hadoop的root用户环境变量)
    • [3. 修改配置文件](#3. 修改配置文件)
      • [3.1 修改 etc/hadoop/hadoop-env.sh 文件](#3.1 修改 etc/hadoop/hadoop-env.sh 文件)
      • [3.2 修改 etc/hadoop/core-site.xml 文件](#3.2 修改 etc/hadoop/core-site.xml 文件)
      • [3.3 修改 etc/hadoop/hdfs-site.xml 文件](#3.3 修改 etc/hadoop/hdfs-site.xml 文件)
      • [3.4 修改 etc/hadoop/mapred-site.xml 文件](#3.4 修改 etc/hadoop/mapred-site.xml 文件)
      • [3.5 修改 etc/hadoop/yarn-site.xml 文件](#3.5 修改 etc/hadoop/yarn-site.xml 文件)
      • [3.6 修改 etc/hadoop/workers 文件](#3.6 修改 etc/hadoop/workers 文件)
      • [3.7 同步配置](#3.7 同步配置)
    • [4. 格式化文件系统](#4. 格式化文件系统)
    • [5. 启动hadoop](#5. 启动hadoop)
    • [6. 浏览器访问](#6. 浏览器访问)
  • 四、hadoop集群命令
    • [1. 启停命令](#1. 启停命令)
      • [1.1 启停 hdfs](#1.1 启停 hdfs)
      • [1.2 启停 yarn](#1.2 启停 yarn)
  • 总结

前言

本文介绍了如何安装和配置Hadoop，一个用于分布式存储和处理大规模数据的开源框架。通过按照本文提供的步骤，您可以在自己的机器上搭建一个Hadoop伪集群，并通过浏览器访问Hadoop的管理页面。本文详细介绍了安装准备、安装JDK、安装Hadoop、修改配置文件、格式化文件系统以及启动Hadoop的步骤。

一、相关介绍

1. 配置文件位置

1.1 只读默认配置文件

hadoop的只读默认配置文件位于安装目录下 的 share/doc/hadoop/hadoop-project-dist/hadoop-common目录。包括以下默认配置文件：

  • share/doc/hadoop/hadoop-project-dist/hadoop-common/core-default.xml
  • share/doc/hadoop/hadoop-project-dist/hadoop-common/hdfs-default.xml
  • share/doc/hadoop/hadoop-project-dist/hadoop-common/yarn-default.xml
  • share/doc/hadoop/hadoop-project-dist/hadoop-common/mapred-default.xml

1.2 可修改配置文件

hadoop的可修改配置文件位于安装目录下 的 etc/hadoop目录。包括以下可修改配置文件：

  • etc/hadoop/core-site.xml
  • etc/hadoop/hdfs-site.xml
  • etc/hadoop/yarn-site.xml
  • etc/hadoop/mapred-site.xml

这些配置文件的配置会覆盖默认配置文件的配置。

1.3 相关环境变量配置文件

hadoop的相关环境变量配置文件位于安装目录下 的 etc/hadoop目录。包括以下相关环境变量配置文件：

  • etc/hadoop/hadoop-env.sh
  • etc/hadoop/mapred-env.sh
  • etc/hadoop/yarn-env.sh

二、安装准备

1. 准备centos

准备三台centos，我准备的如下。

ip地址 主机名
192.168.198.101 hadoop101
192.168.198.102 hadoop102
192.168.198.103 hadoop103

修改/etc/hosts文件，配置主机名映射为ip地址。

hadoop101、hadoop102、hadoop103节点都要执行。

shell 复制代码 
echo >> /etc/hosts
echo '192.168.198.101 hadoop101' >> /etc/hosts
echo '192.168.198.102 hadoop102' >> /etc/hosts
echo '192.168.198.103 hadoop103' >> /etc/hosts

2. 配置集群免密登录

hadoop101节点执行。

shell 复制代码 
ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
chmod 600 ~/.ssh/authorized_keys
ssh-copy-id 192.168.198.102
ssh-copy-id 192.168.198.103

hadoop102节点执行。

shell 复制代码 
ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
chmod 600 ~/.ssh/authorized_keys
ssh-copy-id 192.168.198.101
ssh-copy-id 192.168.198.103

hadoop103节点执行。

shell 复制代码 
ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
chmod 600 ~/.ssh/authorized_keys
ssh-copy-id 192.168.198.101
ssh-copy-id 192.168.198.102

3. 部署规划

hadoop101 hadoop102 hadoop103
HDFS NameNode DataNode SecondaryNameNode DataNode DataNode
YARN NodeManager NodeManager ResourceManager NodeManager

4. 安装条件

  • jdk版本：1.8+

5. 安装jdk

hadoop101、hadoop102、hadoop103节点都要执行。

下载地址：https://www.oracle.com/java/technologies/downloads/#java8

下载后上传到/tmp目录下。

然后执行下面命令，用于创建目录、解压，并设置系统级环境变量。

shell 复制代码 
mkdir -p /opt/module
tar -zxvf /tmp/jdk-8u391-linux-x64.tar.gz -C /opt/module/
echo >> /etc/profile
echo '#JAVA_HOME' >> /etc/profile
echo "export JAVA_HOME=/opt/module/jdk1.8.0_391" >> /etc/profile
echo 'export PATH=$PATH:$JAVA_HOME/bin' >> /etc/profile
source /etc/profile

三、安装hadoop

1. 下载并解压hadoop

hadoop101、hadoop102、hadoop103节点都要执行。

shell 复制代码 
wget --no-check-certificate https://archive.apache.org/dist/hadoop/common/hadoop-3.0.0/hadoop-3.0.0.tar.gz -P /tmp
mkdir -p /opt/soft/hadoop
tar -zxvf /tmp/hadoop-3.0.0.tar.gz -C /opt/soft/hadoop

2. 设置环境变量

2.1 设置hadoop安装目录环境变量

设置hadoop系统级环境变量，并加载环境变量。

hadoop101、hadoop102、hadoop103节点都要执行。

shell 复制代码 
echo >> /etc/profile
echo '#HADOOP_HOME' >> /etc/profile
echo "export HADOOP_HOME=/opt/soft/hadoop/hadoop-3.0.0" >> /etc/profile
echo 'export PATH=$PATH:$HADOOP_HOME/bin' >> /etc/profile
echo 'export PATH=$PATH:$HADOOP_HOME/sbin' >> /etc/profile
echo 'export HADOOP_LOG_DIR=$PATH:$HADOOP_HOME/logs' >> /etc/profile
source /etc/profile

2.2 设置hadoop的root用户环境变量

hadoop通常不建议以root用户身份来启动服务，因为这可能会导致安全漏洞。如果以root用户启动hadoop就会报错，设置hadoop的root用户环境变量后，就可以用root用户启动hadoop。

hadoop101、hadoop102、hadoop103节点都要执行。

shell 复制代码 
echo >> /etc/profile
echo 'export HDFS_NAMENODE_USER=root' >> /etc/profile
echo 'export HDFS_DATANODE_USER=root' >> /etc/profile
echo 'export HDFS_SECONDARYNAMENODE_USER=root' >> /etc/profile
echo 'export YARN_RESOURCEMANAGER_USER=root' >> /etc/profile
echo 'export YARN_NODEMANAGER_USER=root' >> /etc/profile
source /etc/profile

3. 修改配置文件

hadoop101节点执行。

3.1 修改 etc/hadoop/hadoop-env.sh 文件

修改 etc/hadoop/hadoop-env.sh 文件，设置Java环境变量。

shell 复制代码 
cd /opt/soft/hadoop/hadoop-3.0.0
sed -i "s|^# export JAVA_HOME=.*|export JAVA_HOME=/opt/module/jdk1.8.0_391|" "etc/hadoop/hadoop-env.sh"
sed -i "s|^export JAVA_HOME=.*|export JAVA_HOME=/opt/module/jdk1.8.0_391|" "etc/hadoop/hadoop-env.sh"

3.2 修改 etc/hadoop/core-site.xml 文件

修改 /opt/soft/hadoop/hadoop-3.0.0/etc/hadoop/core-site.xml 文件。内容如下所示。

xml 复制代码 
<configuration>
    <!--NameNode URI-->
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://hadoop101:8020</value>
    </property>
    <!--在SequenceFiles中使用的读写缓冲区的大小。-->
    <property>
        <name>io.file.buffer.size</name>
        <value>131072</value>
    </property>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/opt/soft/hadoop/hadoop-3.0.0/hadoop-tmp-data</value>
    </property>
    <property>
        <name>hadoop.proxyuser.root.hosts</name>
        <value>*</value>
    </property>
    <property>
        <name>hadoop.proxyuser.root.users</name>
        <value>*</value>
    </property>
</configuration>

3.3 修改 etc/hadoop/hdfs-site.xml 文件

修改 /opt/soft/hadoop/hadoop-3.0.0/etc/hadoop/hdfs-site.xml 文件。内容如下所示。

xml 复制代码 
<configuration>
    <property>
        <name>dfs.namenode.http-address</name>
        <value>hadoop101:9870</value>
    </property>
    <property>
        <name>dfs.namenode.secondary.http-address</name>
        <value>hadoop102:9868</value>
    </property>
    <!--用于启用或禁用Hadoop文件系统（HDFS）的权限控制功能-->
    <property>
        <name>dfs.permissions.enabled</name>
        <value>false</value>
    </property>
    <!--设置 HDFS 中数据块的副本数-->
    <property>
        <name>dfs.replication</name>
        <value>3</value>
    </property>
    <!--本地文件系统上的路径，NameNode 在其中永久存储命名空间和事务日志。如果这是以逗号分隔的目录列表，则名称表将复制到所有目录中，以实现冗余。-->
    <property>
        <name>dfs.namenode.name.dir</name>
        <value>/opt/hadoop/namenode</value>
    </property>
    <!--允许/排除的数据节点列表。如有必要，请使用这些文件来控制允许的数据节点列表。-->
    <property>
        <name>dfs.hosts</name>
        <!--<name>dfs.hosts.exclude</name>-->
        <value>hadoop101,hadoop102,hadoop103</value>
    </property>
    <!--HDFS 块大小为 256MB，适用于大型文件系统。-->
    <property>
        <name>dfs.blocksize</name>
        <value>268435456</value>
    </property>
    <!--更多的 NameNode 服务器线程来处理来自大量 DataNode 的 RPC。-->
    <property>
        <name>dfs.namenode.handler.count</name>
        <value>100</value>
    </property>
    <!--DataNode 的本地文件系统上应存储其块的路径列表，以逗号分隔。	如果这是以逗号分隔的目录列表，则数据将存储在所有命名目录中，通常存储在不同的设备上。-->
    <property>
        <name>dfs.datanode.data.dir</name>
        <value>/opt/soft/hadoop/hadoop-3.0.0/datanode-data</value>
    </property>
</configuration>

3.4 修改 etc/hadoop/mapred-site.xml 文件

修改 /opt/soft/hadoop/hadoop-3.0.0/etc/hadoop/mapred-site.xml 文件。内容如下所示。

xml 复制代码 
<configuration>
    <!--执行框架设置为 Hadoop YARN。-->
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
    <!--map的最大资源限制。-->
    <property>
        <name>mapreduce.map.memory.mb</name>
        <value>1536</value>
    </property>
    <!--map的子 jvm 的堆最大大小。-->
    <property>
        <name>mapreduce.map.java.opts</name>
        <value>-Xmx1024M</value>
    </property>
    <!--reduce的最大资源限制。-->
    <property>
        <name>mapreduce.reduce.memory.mb</name>
        <value>3072</value>
    </property>
    <!--reduce的子 jvm 的堆最大大小。-->
    <property>
        <name>mapreduce.reduce.java.opts</name>
        <value>-Xmx2560M</value>
    </property>
    <!--在对数据进行排序以提高效率时具有更高的内存限制。-->
    <property>
        <name>mapreduce.task.io.sort.mb</name>
        <value>512</value>
    </property>
    <!--对文件进行排序时，一次合并了更多流。-->
    <property>
        <name>mapreduce.task.io.sort.factor</name>
        <value>100</value>
    </property>
    <!--运行的并行副本数量越多，就会减少从大量映射中获取输出。-->
    <property>
        <name>mapreduce.reduce.shuffle.parallelcopies</name>
        <value>50</value>
    </property>
    <!--MapReduce 工作历史服务器 host：port-->
    <property>
        <name>mapreduce.jobhistory.address</name>
        <value>hadoop102:10020</value>
    </property>
    <!--MapReduce 工作历史服务器 Web UI host：port-->
    <property>
        <name>mapreduce.jobhistory.webapp.address</name>
        <value>hadoop102:19888</value>
    </property>
    <!--MapReduce作业写入历史文件的目录。-->
    <property>
        <name>mapreduce.jobhistory.intermediate-done-dir</name>
        <value>/opt/soft/hadoop/hadoop-3.0.0/mr-history/tmp</value>
    </property>
    <!--MR JobHistory Server 管理历史文件的目录。-->
    <property>
        <name>mapreduce.jobhistory.done-dir</name>
        <value>/opt/soft/hadoop/hadoop-3.0.0/mr-history/done</value>
    </property>
</configuration>

3.5 修改 etc/hadoop/yarn-site.xml 文件

修改 /opt/soft/hadoop/hadoop-3.0.0/etc/hadoop/yarn-site.xml 文件。内容如下所示。

xml 复制代码 
<configuration>
    <!--启用 ACL？默认值为 false。-->
    <property>
        <name>yarn.acl.enable</name>
        <value>false</value>
    </property>
    <!--管理 ACL。ACL 用于在群集上设置管理员。ACL 用于逗号分隔用户空间逗号分隔组。默认为特殊值 *，表示任何人。空间的特殊价值意味着没有人可以访问。-->
<!--    <property>-->
<!--        <name>yarn.admin.acl</name>-->
<!--        <value>*</value>-->
<!--    </property>-->
    <!--用于启用或禁用日志聚合的配置-->
    <property>
        <name>yarn.log-aggregation-enable</name>
        <value>true</value>
    </property>
    <!--设置日志聚集服务器地址-->
    <property>
        <name>yarn.log.server.url</name>
        <value>http://hadoop103:19888/jobhistory/logs</value>
    </property>
    <!--设置日志保留时间为7天，在删除聚合日志之前要保留聚合日志多长时间。-1 禁用。请注意，将其设置得太小，将向名称节点发送垃圾邮件。-->
    <property>
        <name>yarn.log-aggregation.retain-seconds</name>
        <value>604800</value>
    </property>
    <!--ResourceManager host：port，用于客户端提交作业。-->
<!--    <property>-->
<!--        <name>yarn.resourcemanager.address</name>-->
<!--        <value>hadoop103:8088</value>-->
<!--    </property>-->
    <!--ResourceManager host：port，用于 ApplicationMasters 与 Scheduler 通信以获取资源。-->
<!--    <property>-->
<!--        <name>yarn.resourcemanager.scheduler.address</name>-->
<!--        <value></value>-->
<!--    </property>-->
    <!--ResourceManager host：port 用于 NodeManager。-->
<!--    <property>-->
<!--        <name>yarn.resourcemanager.resource-tracker.address</name>-->
<!--        <value></value>-->
<!--    </property>-->
    <!--ResourceManager host：port，用于管理命令。-->
<!--    <property>-->
<!--        <name>yarn.resourcemanager.admin.address</name>-->
<!--        <value></value>-->
<!--    </property>-->
    <!--ResourceManager web-ui host：port。-->
<!--    <property>-->
<!--        <name>yarn.resourcemanager.webapp.address</name>-->
<!--        <value></value>-->
<!--    </property>-->
    <!--ResourceManager 主机。-->
    <property>
        <name>yarn.resourcemanager.hostname</name>
        <value>hadoop103</value>
    </property>
    <!--资源管理器调度程序类。-->
    <property>
        <name>yarn.resourcemanager.scheduler.class</name>
        <value>org.apache.hadoop.yarn.server.resourcemanager.scheduler.fair.FairScheduler</value>
    </property>
    <!--在资源管理器中分配给每个容器请求的最小内存限制。-->
<!--    <property>-->
<!--        <name>yarn.scheduler.minimum-allocation-mb</name>-->
<!--        <value></value>-->
<!--    </property>-->
    <!--要分配给资源管理器中每个容器请求的最大内存限制。-->
<!--    <property>-->
<!--        <name>yarn.scheduler.maximum-allocation-mb</name>-->
<!--        <value></value>-->
<!--    </property>-->
    <!--允许/排除的 NodeManager 列表。-->
<!--    <property>-->
        <!--<name>yarn.resourcemanager.nodes.exclude-path</name>-->
<!--        <name>yarn.resourcemanager.nodes.include-path</name>-->
<!--        <value></value>-->
<!--    </property>-->
    <!--设置YARN NodeManager的辅助服务。用于在Map和Reduce任务之间传输数据。-->
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
    <!--设置允许传递给YARN NodeManager的环境变量白名单。-->
    <property>
        <name>yarn.nodemanager.env-whitelist</name>
        <value>JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAPRED_HOME</value>
    </property>
</configuration>

3.6 修改 etc/hadoop/workers 文件

修改 /opt/soft/hadoop/hadoop-3.0.0/etc/hadoop/workers 文件。内容如下所示。

hadoop101
hadoop102
hadoop103

3.7 同步配置

把上面设置的配置文件同步到hadoop102 和hadoop103节点。

shell 复制代码 
scp -r /opt/soft/hadoop/hadoop-3.0.0/etc/hadoop hadoop102:/opt/soft/hadoop/hadoop-3.0.0/etc
scp -r /opt/soft/hadoop/hadoop-3.0.0/etc/hadoop hadoop103:/opt/soft/hadoop/hadoop-3.0.0/etc

4. 格式化文件系统

hadoop101节点执行。

shell 复制代码 
hdfs namenode -format

5. 启动hadoop

hadoop101节点启动hdfs。

shell 复制代码 
cd /opt/soft/hadoop/hadoop-3.0.0/sbin
./start-dfs.sh

hadoop103节点启动yarn。

shell 复制代码 
cd /opt/soft/hadoop/hadoop-3.0.0/sbin
./start-yarn.sh

6. 浏览器访问

浏览器访问地址 http://192.168.198.101:9870 即可进入 NameNode页面。如下图所示。

浏览器访问地址 http://192.168.198.102:9868 即可进入 SecondaryNameNode页面。如下图所示。

浏览器访问地址 http://192.168.198.103:8088 即可进入 yarn 页面。如下图所示。

四、hadoop集群命令

1. 启停命令

1.1 启停 hdfs

shell 复制代码 
cd /opt/soft/hadoop/hadoop-3.0.0/sbin
./start-dfs.sh
./stop-dfs.sh

1.2 启停 yarn

shell 复制代码 
cd /opt/soft/hadoop/hadoop-3.0.0/sbin
./start-yarn.sh
./stop-yarn.sh

总结

通过本文的指导，您已经学会了如何安装和配置Hadoop，并搭建了一个Hadoop伪集群。Hadoop是一个强大的工具，可以帮助您存储和处理大规模的数据。您可以进一步探索Hadoop的功能和特性，以满足您的数据处理需求。

希望本教程对您有所帮助！如有任何疑问或问题，请随时在评论区留言。感谢阅读！

参考链接：

相关推荐
时差95333 分钟前
MapReduce 的 Shuffle 过程
大数据·mapreduce
kakwooi2 小时前
Hadoop---MapReduce(3)
大数据·hadoop·mapreduce
数新网络2 小时前
《深入浅出Apache Spark》系列②：Spark SQL原理精髓全解析
大数据·sql·spark
windy1a2 小时前
【c知道】Hadoop工作原理。
hadoop
P.H. Infinity5 小时前
【RabbitMQ】03-交换机
分布式·rabbitmq
龙哥·三年风水7 小时前
群控系统服务端开发模式-应用开发-个人资料
分布式·php·群控系统
昨天今天明天好多天7 小时前
【数据仓库】
大数据
油头少年_w7 小时前
大数据导论及分布式存储HadoopHDFS入门
大数据·hadoop·hdfs
Elastic 中国社区官方博客8 小时前
释放专利力量：Patently 如何利用向量搜索和 NLP 简化协作
大数据·数据库·人工智能·elasticsearch·搜索引擎·自然语言处理
力姆泰克8 小时前
看电动缸是如何提高农机的自动化水平
大数据·运维·服务器·数据库·人工智能·自动化·1024程序员节
热门推荐
01【HarmonyOS】HUAWEI DevEco Studio 下载地址汇总02(欧拉)openEuler系统添加网卡文件配置流程、(欧拉)openEuler系统手动配置ipv6地址流程、(欧拉)openEuler系统网络管理说明03组基轨迹建模 GBTM的介绍与实现（Stata 或 R）04【AIGC】重塑未来的科技巨轮05全面解析：构建基于深度学习的安全帽检测系统（UI界面+YOLO代码+数据集）06【经验分享】Ubuntu22.04安装微信(linux官方版)07基于YOLOv10深度学习的CT扫描图像肾结石智能检测系统【python源码+Pyqt5界面+数据集+训练代码】深度学习实战、目标检测08Ubuntu 20.04使用Livox mid 360 测试 FAST_LIO09RAG 实践- Ollama+RagFlow 部署本地知识库10红米手机使用google play