【大数据进阶第二阶段之Hadoop学习笔记】Hadoop 运行环境搭建

1、模板虚拟机环境准备

1.1、 hadoop100 虚拟机配置要求如下

（1）使用 yum 安装需要虚拟机可以正常上网，yum 安装前可以先测试下虚拟机联网情况

复制代码

[root@hadoop100 ~]# ping www.baidu.com

（2）安装epel-release

复制代码

[root@hadoop100 ~]# yum install -y epel-release

（3）注意：如果Linux 安装的是最小系统版，还需要安装如下工具；如果安装的是Linux桌面标准版，不需要执行如下操作

net-tool：工具包集合，包含ifconfig 等命令

vim：编辑器

复制代码

[root@hadoop100 ~]# yum install -y net-tools
[root@hadoop100 ~]# yum install -y vim

1.2、关闭防火墙，关闭防火墙开机自启

复制代码

[root@hadoop100 ~]# systemctl stop firewalld
[root@hadoop100 ~]# systemctl disable firewalld.service

1.3、创建普通用户，并修改普通用户的密码

复制代码

[root@hadoop100 ~]# useradd Tom
[root@hadoop100 ~]# passwd Tom

1.4、配置普通用户具有 root 权限，方便后期加sudo 执行 root 权限的命令

复制代码

[root@hadoop100 ~]# vim /etc/sudoers

修改/etc/sudoers 文件，在%wheel 这行下面添加一行，如下所示：

注意：Tom这一行不要直接放到 root行下面，因为所有用户都属于 wheel组，你先配置了Tom具有免密功能，但是程序执行到 %wheel行时，该功能又被覆盖回需要密码。所以Tom要放到 %wheel这行下面。

2.1.5 在 /opt目录下创建文件夹，并修改所属用户和所属组

2.1.6 卸载虚拟机自带的 JDK

复制代码

[root@hadoop100 ~]# rpm -qa | grep -i java | xargs -n1 rpm -e --nodeps

rpm -qa：查询所安装的所有rpm软件包

grep -i：忽略大小写

xargs -n1：表示每次只传递一个参数

rpm -e --nodeps：强制卸载软件

注意：注意：如果你的虚拟机是最小化安装不需要执行这一步。

1.7| 重启虚拟机

复制代码

[root@hadoop100 ~]# reboot

2.2 克隆虚拟机

2.1、利用模板机 hadoop100，克隆三台虚拟机 hadoop102 hadoop103 hadoop104

注意：克隆时，要先关闭 hadoop100

2.2、修改克隆机 IP，以 hadoop102 举例说明

（1）修改克隆虚拟机的静态 IP：

复制代码

[Tom@hadoop100 ~]# vim /etc/sysconfig/network-scripts/ifcfg-ens33

（2）查看 Linux虚拟机的虚拟网络编辑器，编辑 ->虚拟网络编辑器 ->VMnet8

（3）查看 Windows系统适配器 VMware Network Adapter VMnet8的 IP地址

（4）保证 Linux系统 ifcfg-ens33文件中 IP地址、虚拟网络编辑器地址和 Windows系统 VMnet8网络 IP地址相同。

2.3、修改克隆机主机名，以 hadoop102举例说明

（1）修改主机名称

复制代码

[root@hadoop100 ~]# vim /etc/hostname

（2）配置 Linux克隆机主机名称映射 hosts文件打开 /etc/hosts

复制代码

[root@hadoop100 ~]# vim /etc/hosts

2.4、重启克隆机 hadoop102

复制代码

[root@hadoop100 ~]# reboot

2.5、修改 windows的主机映射文件(hosts文件)

进入C:\Windows\System32\drivers\etc路径，打开 hosts文件并添加如下内容，然后保存。

3、在 hadoop102 安装 JDK

3.1、卸载现有 JDK

注意：安装 JDK前，一定确保提前删除了虚拟机自带的 JDK。

3.2、用 XShell传输工具将 JDK导入到 opt目录下面的 software文件夹下面

3.3、在 Linux系统下的 opt目录中查看软件包是否导入成功

复制代码

[Tom@hadoop102 ~]$ ls /opt/software/
jdk-8u212-linux-x64.tar.gz

3.4、解压 JDK到 /opt/module目录下

复制代码

[Tom@hadoop102 software]$ tar -zxvf jdk-8u212-linux-x64.tar.gz -C /opt/module/

3.5、配置 JDK环境变量

复制代码

[Tom@hadoop102 software]$ sudo vim /etc/profile.d/my_env.sh

source一下 /etc/profile文件，让新的环境变量 PATH生效

复制代码

[Tom@hadoop102 software]$ source /etc/profile

测试JDK是否安装成功

复制代码

[Tom@hadoop102 software]$ java -version
java version "1.8.0_212"
Java(TM) SE Runtime Environment (build 1.8.0_212-b10)
Java HotSpot(TM) 64-Bit Server VM (build 25.212-b10, mixed mode)
[Tom@hadoop102 software]$

4、在 hadoop102 安装 Hadoop

4.1、用 XShell文件传输工具将 hadoop-3.1.3.tar.gz导入到 opt目录下面的 software文件夹下面

4.2、解压安装文件到 /opt/module下面

复制代码

[Tom@hadoop102 software]$ tar -zxvf hadoop-3.1.3.tar.gz -C /opt/module/

4.3、查看是否解压成功

复制代码

[Tom@hadoop102 software]$ ls /opt/module/
hadoop-3.1.3  jdk1.8.0_212

4.4、将 Hadoop添加到环境变量

复制代码

[Tom@hadoop102 software]$ sudo vim /etc/profile.d/my_env.sh

让修改后的文件生效

复制代码

[Tom@hadoop102 software]$ source /etc/profile

4.5、测试是否安装成功

复制代码

[Tom@hadoop102 software]$ hadoop version
Hadoop 3.1.3
Source code repository https://gitbox.apache.org/repos/asf/hadoop.git -r ba631c436b806728f8ec2f54ab1e289526c90579
Compiled by ztang on 2019-09-12T02:47Z
Compiled with protoc 2.5.0
From source with checksum ec785077c385118ac91aadde5ec9799
This command was run using /opt/module/hadoop-3.1.3/share/hadoop/common/hadoop-common-3.1.3.jar
[Tom@hadoop102 software]$

4.6、重启如果 Hadoop命令不能用再重启虚拟机

复制代码

[Tom@hadoop102 hadoop-3.1.3]$ sudo reboot

5、 Hadoop 目录结构

查看 Hadoop目录结构

复制代码

[Tom@hadoop102 hadoop-3.1.3]$ ll
总用量 184
-rw-rw-r--. 1 Tom Tom     25 5月  28 16:49 a.txt
drwxr-xr-x. 2 Tom Tom    183 9月  12 2019 bin
drwxrwxr-x. 4 Tom Tom     37 5月  29 10:54 data
drwxr-xr-x. 3 Tom Tom     20 9月  12 2019 etc
drwxrwxr-x. 3 Tom Tom     18 5月  29 10:53 hdfsdata
drwxr-xr-x. 2 Tom Tom    106 9月  12 2019 include
drwxr-xr-x. 3 Tom Tom     20 9月  12 2019 lib
drwxr-xr-x. 4 Tom Tom    288 9月  12 2019 libexec
-rw-rw-r--. 1 Tom Tom 147145 9月   4 2019 LICENSE.txt
drwxrwxr-x. 3 Tom Tom   4096 5月  29 15:36 logs
-rw-rw-r--. 1 Tom Tom  21867 9月   4 2019 NOTICE.txt
-rw-rw-r--. 1 Tom Tom   1366 9月   4 2019 README.txt
drwxr-xr-x. 3 Tom Tom   4096 9月  12 2019 sbin
drwxr-xr-x. 4 Tom Tom     31 9月  12 2019 share
drwxrwxr-x. 2 Tom Tom     22 5月   6 22:23 wcinput
[Tom@hadoop102 hadoop-3.1.3]$

重要目录

（1） bin目录：存放对 Hadoop相关服务（ hdfs yarn mapred）进行操作的脚本

（2） etc目录： Hadoop的配置文件目录，存放 Hadoop的配置文件

（3） lib目录：存放 Hadoop的本地库（对数据进行压缩解压缩功能）

（4） sbin目录：存放启动或停止 Hadoop相关服务的脚本

（5） share目录：存放 Hadoop的依赖 jar包、文档和官方案例

【大数据进阶第二阶段之Hadoop学习笔记】Hadoop 运行环境搭建

1、模板虚拟机环境准备

1.1、 hadoop100 虚拟机配置要求如下

1.2、 关闭防火墙，关闭防火墙开机自启

1.3、 创建普通用户，并修改普通用户的密码

1.4、 配置普通用户具有 root 权限，方便后期加sudo 执行 root 权限的命令

2.1.5 在 /opt目录下创建文件夹 ，并修改所属用户和所属组

2.1.6 卸载虚拟机自带的 JDK

1.7| 重启虚拟机

2.2 克隆虚拟机

2.1、 利用模板机 hadoop100，克隆 三台虚拟机 hadoop102 hadoop103 hadoop104

2.2、 修改克隆机 IP，以 hadoop102 举例说明

2.3、 修改克隆机主机名 ，以 hadoop102举例说明

2.4、 重启克隆机 hadoop102

2.5、 修改 windows的主机映射文件(hosts文件)

3.1、卸载现有 JDK

3.2、用 XShell传输工具将 JDK导入到 opt目录下面的 software文件夹下面

3.3、在 Linux系统下的 opt目录中查看软件包是否导入成功

3.4、解压 JDK到 /opt/module目录下

3.5、配置 JDK环境变量

4、 在 hadoop102 安装 Hadoop

4.1、用 XShell文件传输 工具将 hadoop-3.1.3.tar.gz导入到 opt目录下面的 software文件夹下面

4.2、解压安装文件到 /opt/module下面

4.3、查看是否解压成功

4.4、将 Hadoop添加到环境变量

4.5、测试是否安装成功

4.6、重启 如果 Hadoop命令不能用再重启虚拟机

5、 Hadoop 目录结构

1.2、关闭防火墙，关闭防火墙开机自启

1.3、创建普通用户，并修改普通用户的密码

1.4、配置普通用户具有 root 权限，方便后期加sudo 执行 root 权限的命令

2.1.5 在 /opt目录下创建文件夹，并修改所属用户和所属组

2.1、利用模板机 hadoop100，克隆三台虚拟机 hadoop102 hadoop103 hadoop104

2.2、修改克隆机 IP，以 hadoop102 举例说明

2.3、修改克隆机主机名，以 hadoop102举例说明

2.4、重启克隆机 hadoop102

2.5、修改 windows的主机映射文件(hosts文件)

4、在 hadoop102 安装 Hadoop

4.1、用 XShell文件传输工具将 hadoop-3.1.3.tar.gz导入到 opt目录下面的 software文件夹下面

4.6、重启如果 Hadoop命令不能用再重启虚拟机