CentOS 部署 Hadoop 环境指导文档

环境准备

虚拟机：Virtual Box
操作系统：centos-stream-9
- 配置静态IP（enp0s3：网络名称，addresses和gateway：根据宿主机子网掩码和网关配置。）
  bash 复制代码
```
  sudo nmcli connection modify "enp0s3" \
  ipv4.addresses "10.100.18.100/22" \
  ipv4.gateway "10.100.16.1" \
  ipv4.dns "114.114.114.114" \
  ipv4.method manual
```
- 配置主机名
- 网络类型：桥接模式
操作账号：hadoop（赋予sudo权限）

一、 JDK 1.8 环境安装与配置

1. 创建 Java 安装目录

使用 sudo 权限在 /usr/local/ 下创建专用的 java 目录：

bash 复制代码

sudo mkdir -p /usr/local/java

2. 解压 JDK 安装包

进入存放安装包的 env 目录，将 jdk-8u202-linux-x64.tar.gz 解压至指定路径：

bash 复制代码

cd ~/env
sudo tar -zxvf jdk-8u202-linux-x64.tar.gz -C /usr/local/java/

3. 配置环境变量

编辑系统配置文件（如 /etc/profile），添加以下核心环境变量并使其生效：

bash 复制代码

export JAVA_HOME=/usr/local/java/jdk1.8.0_202
export CLASSPATH=.:${JAVA_HOME}/lib/dt.jar:${JAVA_HOME}/lib/tools.jar
export PATH=$JAVA_HOME/bin:$PATH
source /etc/profile

4. 验证 JDK 安装

执行以下命令确认 Java 版本及环境变量是否配置成功：

bash 复制代码

java -version
echo $JAVA_HOME

二、 Hadoop 3.3.0 环境安装与配置

由于配置的是 JDK 8 的环境，必须选择 3.3.1 之前的稳定版本（如 3.3.0）

1. 清理旧版本并创建新目录

创建 Hadoop 目录：

bash 复制代码

sudo mkdir -p /usr/local/hadoop

2. 解压 Hadoop 安装包

回到安装包所在目录，将 hadoop-3.3.0.tar.gz 解压至刚创建的目录中：

bash 复制代码

cd ~/env
sudo tar -zxvf hadoop-3.3.0.tar.gz -C /usr/local/hadoop/

3. 整理目录结构

由于直接解压到目标目录会产生嵌套的子文件夹，需要将内部文件平铺移动至 /usr/local/hadoop/ 根目录下：

bash 复制代码

sudo mv /usr/local/hadoop/hadoop-3.3.0/* /usr/local/hadoop/

4. 配置环境变量

再次编辑系统配置文件（如 /etc/profile），注入 Hadoop 相关的运行变量：

bash 复制代码

export HADOOP_HOME=/usr/local/hadoop
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

5. 验证 Hadoop 安装

加载最新的环境变量后，通过查看版本号来确认 Hadoop 服务是否就绪：

bash 复制代码

source /etc/profile
hadoop version
######################## OUTPUT ########################
Hadoop 3.3.0
Source code repository https://gitbox.apache.org/repos/asf/hadoop.git -r aa96f1871bfd858f9bac59cf2a81ec470da649af
Compiled by brahma on 2020-07-06T18:44Z
Compiled with protoc 3.7.1
From source with checksum 5dc29b802d6ccd77b262ef9d04d19c4
This command was run using /usr/local/hadoop/share/hadoop/common/hadoop-common-3.3.0.jar
######################## OUTPUT ########################