安装并运行hadoop程序

别惊鹊2025-03-08 12:58

1.在虚拟机上安装javaJDK

（1）把javaJDK文件上传到服务器

在opt文件夹下新建一个software文件夹，将jdk拖入software

（2）解压文件

在opt文件夹下新建一个module文件夹，确认上传成功之后，在software（进入命令：cd /opt/software）目录下，运行如下命令：

tar -zxvf jdk-8u212-linux-x64.tar.gz -C /opt/module/

（3）配置环境变量

在如下路径新建文件写入代码并保存：

复制代码

#JAVA_HOME
export JAVA_HOME=/opt/module/jdk1.8.0_212
export PATH=$PATH:$JAVA_HOME/bin

source一下/etc/profile文件，让新的环境变量PATH生效：

source /etc/profile

在任意目录下输入java -version，看是否能出现jdk版本

2.在虚拟机上安装hadoop

（1）把hadoop文件上传到服务器

将hadoop拖入software

输入如下命令进入software：

cd /opt/software

（2）解压文件

在输入如下命令进行解压：
tar -zxvf hadoop-3.1.3.tar.gz -C /opt/module/

（3）配置环境变量

在my_env.sh输入如下代码并保存：

复制代码

#HADOOP_HOME
export HADOOP_HOME=/opt/module/hadoop-3.1.3
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin

输入如下代码查看hadoop是否安装成功

3.运行官方WordCount程序

在如下目录新建文件夹wcinput

在wcinput新建两个文件

写入如下内容：

输入命令进入：

cd /opt/module/hadoop-3.1.3/wcinput

输入命令运行：

hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.3.jar wordcount wcinput wcoutput

查看计数：