基于伪分布式模式部署Hadoop集群

1.上传Hadoop安装包

在/export/software目录下使用rz命令上传Hadoop安装包

2.创建目录

在/export/servers目录下创建wfb-hadoop目录,用于存放Hadoop的安装目录,命令如下:

mkdir -p /export/servers/wfb-hadoop

3.安装Hadoop

1)将Hadoop安装到/export/servers/wfb-hadoop目录,命令如下:

tar -zxvf /export/software/Hadoop-3.3.4.tar.gz -C /export/servers/wfb-hadoop

2)安装完成之后,进入到安装目录/export/servers/wfb-hadoop/Hadoop-3.3.4,并执行ll命令查 看Hadoop安装目录中的所有文件

4.验证Hadoop是否安装成功

在安装目录执行bin/Hadoop version命令查看Hadoop版本号,来验证是否安装成功

5.修改Hadoop配置文件

进入安装目录下的/etc/hadoop目录

1)使用vi Hadoop-env.sh命令进行编辑,在该文件中添加如下内容:

export JAVA_HOME=/export/servers/jdk1.8.0_171

export HDFS_NAMENODE_USER=root

export HDFS_DATANODE_USER=root

export HDFS_SECONDARYNAMENODE_USER=root

export YARN_RESOURCEMANAGER_USER=root

export YARN_NODEMANAGER_USER=root

2)执行vi core-site.xml命令进行编辑,在<configuration>标签中添加如下内容:

<property>

<name>fs.defaultFS</name>

<value>hdfs://hadoop1:9000</value>

</property>

<property>

<name>hadoop.tmp.dir</name>

<value>/export/data/hadoop-wfb-3.3.4</value>

</property>

<property>

<name>hadoop.http.staticuser.user</name>

<value>root</value>

</property>

<property>

<name>hadoop.proxyuser.root.hosts</name>

<value>*</value>

</property>

<property>

<name>hadoop.proxyuser.root.groups</name>

<value>*</value>

</property>

<property>

<name>fs.trash.interval</name>

<value>1440</value>

</property>

3)执行vi hdfs-site.xml命令进行编辑,在文件的<configuration>标签中添加如下内容:

<property>

<name>dfs.replication</name>

<value>1</value>

</property>

<property>

<name>dfs.namenode.secondary.http-address</name>

<value>hadoop1:9868</value>

</property>

4)执行vi mapred-site.xml命令进行编辑,在文件的<configuration>标签中添加如下内容:

<property>

<name>mapreduce.framework.name</name>

<value>yarn</value>

</property>

<property>

<name>mapreduce.jobhistory.address</name>

<value>hadoop1:10020</value>

</property>

<property>

<name>mapreduce.jobhistory.webapp.address</name>

<value>hadoop1:19888</value>

</property>

<property>

<name>yarn.app.mapreduce.am.env</name>

<value>HADOOP_MAPRED_HOME=/export/servers/wfb-hadoop/hadoop-3.3.4</value>

</property>

<property>

<name>marpreduce.map.env</name>

<value>HADOOP_MAPRED_HOME=/export/servers/wfb_hadoop/hadoop-3.3.4</value>

</property>

<property>

<name>mapreduce.reduce.env</name>

<value>HADOOP_MAPRED_HOME=/export/servers/wfb-hadoop/hadoop-3.3.4</value>

</property>

5)执行vi yarn-site.xml命令进行编辑,在文件的<configuration>标签中添加如下内容:

<property>

<name>yarn.resorcemanager.hostname</name>

<value>hadoop1</value>

</property>

<property>

<name>yarn.nodemanager.aux-services</name>

<value>mapreduce_shuffle</value>

</property>

<property>

<name>yarn.nodemanager.pmem-check-enabled</name>

<value>false</value>

</property>

<property>

<name>yarn.nodemanager.vmem-check-enabled</name>

<value>false</value>

</property>

<property>

<name>yarn.log-aggregation-enable</name>

<value>true</value>

</property>

<property>

<name>yarn.log.server.url</name>

<value>http://hadoop1:19888/jobhistory/logs\</value>

</property>

<property>

<name>yarn.log-aggregation.retain-seconds</name>

<value>604800</value>

</property>

6)在安装目录虚下的/etc/hadoop目录执行vi workers命令,配置Hadoop从节点运行的服务器,将workers文件的默认内容改为hadoop1

6.格式化HDFS文件系统

在安装目录下执行如下命令,进行HDFS格式化(我已经进行格式化了,不再展示命令执行结果),出现successfully formatted说明格式化成功

bin/hdfs namenode -format

7.启动Hadoop

在安装目录下执行下列命令,启动HDFS和YARN

sbin/start-dfs.sh

sbin/start-yarn.sh

8.查看Hadoop运行状态

使用jps命令查看HDFS和YARN的相关服务

相关推荐
坤昱17 小时前
cfs调度类深入解刨——最新内核细节分析5
linux·分布式·cfs调度·eevdf调度·linux调度·linux技术·kernel最新版本内容
AI人工智能+电脑小能手17 小时前
【大白话说Java面试题 第91题】【Mysql篇】第21题:分布式锁的使用场景和原理?
java·数据库·分布式·mysql·面试
JAVA社区18 小时前
Java高级全套教程(十三)—— 分布式锁超详细实战详解(原理+三种方案企业级落地)
java·开发语言·分布式·spring cloud·面试·java-zookeeper
Leo18718 小时前
分布式事务
java·分布式·分布式事务
潮起鲸落入海21 小时前
ceph分布式存储认证和授权,块存储管理
分布式·ceph
ZPC82101 天前
前馈补偿原理 + 分类 + 公式 + 工程实现(配合 PID 使用,从根源减轻闭环收敛压力)
人工智能·分布式·机器人
闪电悠米1 天前
黑马点评-分布式锁-02_simple_redis_lock_setnx
java·数据库·spring boot·redis·分布式·缓存·wpf
大迪deblog1 天前
从分布式到中央计算:深度拆解下一代 Zonal 车载 EEA 架构变革
分布式·架构
智塑未来1 天前
2026轻量化图形引擎生态白皮书:PG官网发布渠道与分布式PG数据库架构全面解析
数据库·分布式·数据库架构
weixin199701080161 天前
[特殊字符] 电商库存扣减防超卖:分布式锁的三种实现(附Python源码)
开发语言·分布式·python