HDSF部署 - 技术栈

1、上传hadoop-3.3.6.tar.gz跟jdk-17_linux-x64_bin.tar.gz到服务器的/opt目录下。

2、解压缩

bash 复制代码

tar -vxzf jdk-17_linux-x64_bin.tar.gz

tar -vxzf hadoop-3.3.6.tar.gz

3、配置环境变量

bash 复制代码

$ vim /etc/profile
# 粘贴下面配置到文件最末尾
export JAVA_HOME=/opt/jdk17.0.12
export PATH=$PATH:$JAVA_HOME/bin

export HADOOP_HOME=/opt/hadoop-3.3.6
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
export HDFS_NAMENODE_USER=root
export HDFS_DATANODE_USER=root
export HDFS_JOURNALNODE_USER=root
export YARN_RESOURCEMANAGER_USER=root
export YARN_NODEMANAGER_USER=root
export HDFS_ZKFC_USER=root

4、执行source /etc/profile使配置生效，执行java -version进行验证

5、进入hadoop目录，cd /opt/hadoop-3.3.6，配置hdfs

bash 复制代码

$ vim etc/hadoop/hdfs-site.xml
# 粘贴下面配置到configuration
<configuration>
<!--## 副本备份的数量-->
<property>
	<name>dfs.replication</name>
	<value>2</value>
</property>

<!-- #设置NameNode数据存储目录-->
<property>
	<name>dfs.namenode.name.dir</name>
	<value>file:/workspace/hadoop/data/namenode</value>
</property>

<!--#设置DataNode数据存储目录-->
<property>
	<name>dfs.datanode.data.dir</name>
	<value>file:/workspace/hadoop/data/datanode</value>
</property>


<!-- #这里在不加的话 hdfs的网站访问不了-->
<property>
	<name>dfs.http.address</name>
	<value>0.0.0.0:50070</value>
</property>

<!--#这里可以考虑取消写入权限限制否则只能通过命令hadoop fs -chmod 777 /soft/hadoop/warehouse/student 来增加针对某个目录的写权限-->

<property>
	<name>dfs.permissions</name>
	<value>false</value>
</property>
</configuration>

bash 复制代码

$ vim etc/hadoop/core-site.xml
# 粘贴下面配置到configuration
<property>
    <name>fs.defaultFS</name>
<!-- ip地址修改成对应服务器ip -->
    <value>hdfs://10.10.10.47:9000/</value>
</property>
<property>
    <name>hadoop.tmp.dir</name>
    <value>/workspace/hadoop/data</value>
</property>

bash 复制代码

vim etc/hadoop/hadoop-env.sh
# 粘贴下面配置到空白处
export HDFS_NAMENODE_USER=root
export HDFS_DATANODE_USER=root
export HDFS_SECONDARYNAMENODE_USER=root
export YARN_RESOURCEMANAGER_USER=root
export YARN_NODEMANAGER_USER=root

JAVA_HOME=/opt/jdk17.0.12

bash 复制代码

$ vim sbin/start-dfs.sh
# 粘贴下面配置到空白处
HDFS_DATANODE_USER=root
HDFS_DATANODE_SECURE_USER=root
HDFS_NAMENODE_USER=root
HDFS_SECONDARYNAMENODE_USER=root

6、执行格式化 /opt/hadoop-3.3.6/bin/hdfs namenode -format

执行后会提示：

SHUTDOWN_MSG: Shutting down NameNode at ...

出现 has been successfully formatted 字样即成功。

7、启动hdfs

cd /opt/hadoop-3.3.6

bash ./sbin/start-dfs.sh

8、验证执行jps

显示下面说明部署成功

NameNode

DataNode

SecondaryNameNode

Jps