Hadoop伪分布式环境搭建

什么是Hadoop伪分布式集群?

Hadoop 伪分布式集群是一种在单个节点上模拟分布式环境的配置,用于学习、开发和测试 Hadoop 的功能和特性。它提供了一个简化的方式来体验和熟悉 Hadoop 的各个组件,而无需配置和管理一个真正的多节点集群。

在 Hadoop 伪分布式集群中,各个 Hadoop 组件(如 NameNode、DataNode、ResourceManager、NodeManager 等)在同一台机器上运行,并通过配置文件进行连接和通信。通过使用 Hadoop 伪分布式集群,你可以在单个节点上进行开发和测试,而无需配置和管理一个真正的多节点集群。这对于学习和熟悉 Hadoop 的基本概念、调试代码、运行作业和验证配置非常有用。

然而,需要注意的是,伪分布式集群并不能提供真正的分布式计算和数据处理能力,因为所有的组件都在同一台机器上运行。因此,在进行性能测试、负载均衡和规模扩展方面,它与真实的分布式集群可能存在一些差异。

也就是说,Hadoop可以在单节点上以伪分布的方式运行,Hadoop进程以分离的Java进程来运行,节点既是NameNode又是DataNode,并且读取的是HDFS中的文件。

一、基本环境配置

基本环境配置的 所有步骤与博主上一篇博客一致

传送门:Hadoop 分布式集群搭建教程(2023在校生踩坑版)-CSDN博客

1.修改主机名和设置固定IP

2.关闭防火墙和新建安装目录

3.安装配置JDK

4.配置主机映射(修改hosts文件)

5.配置SSH免密登录本地节点(hadoop0)

二、安装配置Hadoop

1.安装和解压

步骤与博主上一篇博客一致

传送门:Hadoop 分布式集群搭建教程(2023在校生踩坑版)-CSDN博客

接着进入"/opt/programs/hadoop-3.3.6/etc/hadoop"目录,依次修改配置文件 core-site.xml、hdfs-site.xml、mapred-site.xml、yarn-site.xml、slaves (又一个坑,Hadoop3.x版本之后,slaves文件更名为workers,所以很多同学会找不到这个文件)、hadoop-env.sh

修改配置文件core-site.xml

vim core-site.xml

将 <configuration> 和 </configuration> 标签的内容修改如下:

<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://hadoop0:9000</value>
    </property>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/opt/programs/hadoop-3.3.6/tmp</value>
     </property>
</configuration>
②修改配置文件hdfs-site.xml

vim hdfs-site.xml

将 <configuration> 和 </configuration> 标签的内容修改如下:

<configuration>
        <property>
                <name>dfs.replication</name>
                <value>1</value>
        </property>
</configuration>
③修改配置文件mapred-site.xml

vim mapred-site.xml

将 <configuration> 和 </configuration> 标签的内容修改如下:

<configuration>
        <property>
                <name>mapreduce.framework.name</name>
                <value>yarn</value>
        </property>
        <property>
                <name>dfs.permissions</name>
                <value>false</value>
        </property>
</configuration>
④修改配置文件yarn-site.xml

vim yarn-site.xml

将 <configuration> 和 </configuration> 标签的内容修改如下:

<configuration>
        <property>
                <name>yarn.resourcemanager.hostname</name>
                <value>hadoop0</value>
        </property>
        <property>
                <name>yarn.nodemanager.aux-services</name>
                <value>mapreduce_shuffle</value>
        </property>
</configuration>
⑤修改配置文件slaves(Hadoop3.x改名为workers)

将"localhost"修改为以下内容:

hadoop0

⑥修改配置文件hadoop-env.sh

将'expHADOOP_CONF_DIR=${HADOOP_CONF_DIR:-"/etc/hadoop"}"一行改为:

export HADOOP_CONF_DIR=/opt/programs/hadoop-3.3.6/etc/hadoop

并在文件末尾加入JAVA_HOME环境变量:

export JAVA_HOME=/opt/programs/jdk1.8.0_371

然后执行以下命令,刷新hadoop-env.sh文件,使修改生效:

source hadoop-env.sh

2.配置Hadoop环境变量

接修改" /etc/profile ",配置Hadoop环境变量

vim /etc/profile

在文件末尾加入以下内容:

export HADOOP_HOME=/opt/programs/hadoop-3.3.6

export PATH=PATH:PATH:HADOOP_HOME/bin:HADOOP_HOME/sbin

然后刷新profile文件,是修改生效:

source /etc/profile

三、格式化HDFS

执行以下命令,格式化HDFS:

hdfs namenode -format

出现以下信息则说明格式化成功:

四、启动HDFS和YARN

依次执行以下命令,启动HDFS和YARN:

start-dfs.sh

start-yarn.sh

若出现以下报错:

则需要在" /etc/profile/ "文件中加入以下内容:

export HDFS_NAMENODE_USER=root
export HDFS_DATANODE_USER=root
export HDFS_SECONDARYNAMENODE_USER=root
export YARN_RESOURCEMANAGER_USER=root
export YARN_NODEMANAGER_USER=root
export HDFS_JOURNALNODE_USER=root
export HDFS_ZKFC_USER=root

更改完成后一定要刷新profile文件!

然后重启HDFS和YARN:

即可发现正常启动。

启动后可执行" jps "命令,查看启动的Hadoop相关进程:

除去jps外,共有五个进程:NameNode、SecondaryNameNode、DataNode、ResourceManager和NodeManager。如果发现有进程没有启动,可以先停止Hadoop集群(依次执行" stop-dfs.sh "、"stop-yarn.sh"),然后重新格式化HDFS。

启动后在宿主机访问" http://hadoop0的ip地址:9870/ ",页面会显示"hadoo0:9000(active)"

(有小伙伴可能访问50070访问不了,那么不妨改为9870试试!)

对于Hadoop高可用集群和伪分布式集群,它们在配置上有一些差异,这可能导致了不同的端口配置。

在Hadoop高可用集群中,通常会使用Hadoop的HA(High Availability)功能来确保集群的可用性。HA集群中有多个NameNode实例,其中一个是Active状态的主NameNode,负责处理客户端请求。默认情况下,Active主NameNode的HTTP端口是50070,用于访问Web界面。

而在Hadoop伪分布式集群中,只有一个节点模拟了整个分布式环境,包括NameNode、DataNode、ResourceManager等。为了避免与默认的单节点模式端口冲突,Hadoop在伪分布式模式下将NameNode的HTTP端口更改为9870。

因此,当你搭建正常的Hadoop高可用集群时,可以通过50070端口访问NameNode的Web界面。而在伪分布式集群中,由于端口冲突的考虑,NameNode的HTTP端口被更改为9870。

这是Hadoop在不同配置下为了避免端口冲突而进行的默认设置。我们也可以通过相应的配置文件修改端口号,来满足需求。

相关推荐
天冬忘忧4 分钟前
Kafka 生产者全面解析:从基础原理到高级实践
大数据·分布式·kafka
青云交28 分钟前
大数据新视界 -- Hive 数据仓库:构建高效数据存储的基石(下)(2/ 30)
大数据·数据仓库·hive·数据安全·数据分区·数据桶·大数据存储
zmd-zk37 分钟前
flink学习(2)——wordcount案例
大数据·开发语言·学习·flink
电子手信39 分钟前
知识中台在多语言客户中的应用
大数据·人工智能·自然语言处理·数据挖掘·知识图谱
天冬忘忧1 小时前
Kafka 数据倾斜:原因、影响与解决方案
分布式·kafka
隔着天花板看星星1 小时前
Kafka-Consumer理论知识
大数据·分布式·中间件·kafka
holywangle1 小时前
解决Flink读取kafka主题数据无报错无数据打印的重大发现(问题已解决)
大数据·flink·kafka
隔着天花板看星星1 小时前
Kafka-副本分配策略
大数据·分布式·中间件·kafka
Lorin 洛林1 小时前
Hadoop 系列 MapReduce:Map、Shuffle、Reduce
大数据·hadoop·mapreduce
金刚猿1 小时前
简单理解下基于 Redisson 库的分布式锁机制
分布式·分布式锁·redisson