Linux环境安装Hadoop

程序员储物箱2023-12-23 5:01

（1）下载Hadoop安装包并上传

下载Hadoop安装包到本地，并导入到Linux服务器的/opt/software路径下

（2）解压安装包

解压安装文件并放到/opt/module下面

bash 复制代码

[root@hadoop100  ~]$ cd /opt/software
[root@hadoop100 software]$ tar -zxvf hadoop-3.1.3.tar.gz -C /opt/module/

（3）将Hadoop添加到环境变量

bash 复制代码

 [root@hadoop100  ~]$ vim /etc/profile.d/hadoop_env.sh

在hadoop_env.sh文件末尾添加如下内容：

#HADOOP_HOME

export HADOOP_HOME=/opt/module/hadoop-3.1.3

export PATH= $PATH:$ HADOOP_HOME/bin

export PATH= $PATH:$ HADOOP_HOME/sbin

保存并退出： :wq

（4）让修改文件生效

bash 复制代码

  [root@hadoop100 ~]$ source /etc/profile

如果命令还不能让hadoop生效，则重启虚拟机

bash 复制代码

[root@hadoop100 ~]$ sudo reboot

（5）测试是否安装成功

bash 复制代码

  [root@hadoop100 ~]$  hadoop version

（6）查看Hadoop目录结构

以下是Hadoop文件中重要的目录：

bin 目录：存放对 Hadoop 相关服务（hdfs，yarn，mapred）进行操作的脚本

etc 目录：Hadoop 的配置文件目录，存放 Hadoop 的配置文件

lib 目录：存放 Hadoop 的本地库（对数据进行压缩解压缩功能）

sbin 目录：存放启动或停止 Hadoop 相关服务的脚本

share 目录：存放 Hadoop 的依赖 jar 包、文档、和官方案例

（7）扩展：本地测试官方案例WordCount

WordCount是一个统计文件内单词数量的程序。可以理解为MapReduce的helloword。

1）创建测试文件

bash 复制代码

 [root@hadoop100 ~]$ cd /opt/module/hadoop-3.1.3
 [root@hadoop100 hadoop-3.1.3]$  mkdir wcinput
 [root@hadoop100 hadoop-3.1.3]$  cd wcinput
 [root@hadoop100 wcinput]$   vim word.txt

在文件中输入以下内容：

hadoop yarn

hadoop mapreduce

test

test

保存并退出： :wq

2）执行程序

回到Hadoop目录/opt/module/hadoop-3.1.3，执行程序

bash 复制代码

  [root@hadoop100 wcinput]$   cd ../
  [root@hadoop100 hadoop-3.1.3]$ hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.3.jar wordcount wcinput wcoutput

命令结构：

hadoop jar Jar包的路径 Jar包的主类传递给主类的参数地址由主类执行后输出的结果地址

3）查看结果

bash 复制代码

[root@hadoop100 hadoop-3.1.3]$ cat wcoutput/part-r-00000