安装Hadoop并运行WordCount程序

依年南台2025-05-14 10:13

一、安装 Java

Hadoop 依赖 Java，首先需要安装 Java 开发工具包（JDK）。以 Ubuntu 为例：

bash

复制代码

sudo apt update
sudo apt install openjdk-8-jdk

安装后，设置环境变量：

bash

复制代码

echo 'export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64' >> ~/.bashrc
echo 'export PATH=$PATH:$JAVA_HOME/bin' >> ~/.bashrc
source ~/.bashrc

二、安装 Hadoop

下载 Hadoop：

bash

复制代码

wget https://downloads.apache.org/hadoop/common/hadoop-3.3.6/hadoop-3.3.6.tar.gz
tar -xzf hadoop-3.3.6.tar.gz
mv hadoop-3.3.6 /opt/hadoop

配置环境变量：

bash

复制代码

echo 'export HADOOP_HOME=/opt/hadoop' >> ~/.bashrc
echo 'export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin' >> ~/.bashrc
source ~/.bashrc

配置 Hadoop ：

core-site.xml ：

xml

复制代码

<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9000</value>
    </property>
</configuration>

hdfs-site.xml ：

xml

复制代码

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
    <property>
        <name>dfs.namenode.name.dir</name>
        <value>file:/opt/hadoop/data/namenode</value>
    </property>
    <property>
        <name>dfs.datanode.data.dir</name>
        <value>file:/opt/hadoop/data/datanode</value>
    </property>
</configuration>

三、启动 Hadoop

格式化 NameNode：

bash

复制代码

hdfs namenode -format

启动 HDFS 和 YARN：

bash

复制代码

start-dfs.sh
start-yarn.sh

验证服务 ：
访问 http://localhost:9870 查看 HDFS 界面，http://localhost:8088 查看 YARN 界面。

四、运行 WordCount 程序

准备输入数据：

bash

复制代码

echo "Hello Hadoop World" > input.txt
hdfs dfs -mkdir -p /user/input
hdfs dfs -put input.txt /user/input

执行 WordCount：

bash

复制代码

hadoop jar $HADOOP_HOME/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.3.6.jar wordcount /user/input /user/output

查看结果：

bash

复制代码

hdfs dfs -cat /user/output/part-r-00000