【大数据进阶第二阶段之Hadoop学习笔记】Hadoop 概述-CSDN博客
【大数据进阶第二阶段之Hadoop学习笔记】Hadoop 运行环境搭建-CSDN博客
【大数据进阶第二阶段之Hadoop学习笔记】Hadoop 运行模式-CSDN博客
1、模板虚拟机环境准备
1.1、 hadoop100 虚拟机配置要求如下
（1）使用 yum 安装需要虚拟机可以正常上网，yum 安装前可以先测试下虚拟机联网情况
[root@hadoop100 ~]# ping www.baidu.com
（2）安装epel-release
[root@hadoop100 ~]# yum install -y epel-release
（3）注意：如果Linux 安装的是最小系统版，还需要安装如下工具；如果安装的是Linux桌面标准版，不需要执行如下操作
net-tool：工具包集合，包含ifconfig 等命令
vim：编辑器
[root@hadoop100 ~]# yum install -y net-tools
[root@hadoop100 ~]# yum install -y vim
1.2、 关闭防火墙，关闭防火墙开机自启
[root@hadoop100 ~]# systemctl stop firewalld
[root@hadoop100 ~]# systemctl disable firewalld.service
1.3、 创建普通用户，并修改普通用户的密码
[root@hadoop100 ~]# useradd Tom
[root@hadoop100 ~]# passwd Tom
1.4、 配置普通用户具有 root 权限，方便后期加sudo 执行 root 权限的命令
[root@hadoop100 ~]# vim /etc/sudoers
修改/etc/sudoers 文件，在%wheel 这行下面添加一行，如下所示：
注意：Tom这一行不要直接放到 root行下面，因为所有用户都属于 wheel组，你先配置了Tom具有免密功能，但是程序执行到 %wheel行时， 该功能又被覆盖回需要密码 。所以Tom要放到 %wheel这行下面。
2.1.5 在 /opt目录下创建文件夹 ，并修改所属用户和所属组
2.1.6 卸载虚拟机自带的 JDK
[root@hadoop100 ~]# rpm -qa | grep -i java | xargs -n1 rpm -e --nodeps
rpm -qa：查询所安装的所有rpm软件包
grep -i：忽略大小写
xargs -n1：表示每次只传递一个参数
rpm -e --nodeps：强制卸载软件
注意：注意：如果你的虚拟机是最小化安装不需要执行这一步。
1.7| 重启虚拟机
[root@hadoop100 ~]# reboot
2.2 克隆虚拟机
2.1、 利用模板机 hadoop100，克隆 三台虚拟机 hadoop102 hadoop103 hadoop104
注意：克隆时，要先关闭 hadoop100
2.2、 修改克隆机 IP，以 hadoop102 举例说明
（1）修改克隆虚拟机的静态 IP：
[Tom@hadoop100 ~]# vim /etc/sysconfig/network-scripts/ifcfg-ens33
（2）查看 Linux虚拟机的虚拟网络编辑器，编辑 ->虚拟网络编辑器 ->VMnet8
（3）查看 Windows系统适配器 VMware Network Adapter VMnet8的 IP地址
（4）保证 Linux系统 ifcfg-ens33文件中 IP地址、虚拟网络编辑器地址和 Windows系统 VMnet8网络 IP地址相同。
2.3、 修改克隆机主机名 ，以 hadoop102举例说明
（1）修改主机名称
[root@hadoop100 ~]# vim /etc/hostname
（2）配置 Linux克隆机主机名称映射 hosts文件 打开 /etc/hosts
[root@hadoop100 ~]# vim /etc/hosts
2.4、 重启克隆机 hadoop102
[root@hadoop100 ~]# reboot
2.5、 修改 windows的主机映射文件(hosts文件)
进入C:\Windows\System32\drivers\etc路径，打开 hosts文件并添加如下内容 ，然后保存。
3、 在 hadoop102 安装 JDK
3.1、卸载现有 JDK
注意：安装 JDK前，一定确保提前删除了虚拟机自带的 JDK。
3.2、用 XShell传输工具将 JDK导入到 opt目录下面的 software文件夹下面
3.3、在 Linux系统下的 opt目录中查看软件包是否导入成功
[Tom@hadoop102 ~]$ ls /opt/software/
jdk-8u212-linux-x64.tar.gz
3.4、解压 JDK到 /opt/module目录下
[Tom@hadoop102 software]$ tar -zxvf jdk-8u212-linux-x64.tar.gz -C /opt/module/
3.5、配置 JDK环境变量
[Tom@hadoop102 software]$ sudo vim /etc/profile.d/my_env.sh
source一下 /etc/profile文件 ，让新的环境变量 PATH生效
[Tom@hadoop102 software]$ source /etc/profile
测试JDK是否安装成功
[Tom@hadoop102 software]$ java -version
java version "1.8.0_212"
Java(TM) SE Runtime Environment (build 1.8.0_212-b10)
Java HotSpot(TM) 64-Bit Server VM (build 25.212-b10, mixed mode)
[Tom@hadoop102 software]$
4、 在 hadoop102 安装 Hadoop
4.1、用 XShell文件传输 工具将 hadoop-3.1.3.tar.gz导入到 opt目录下面的 software文件夹下面
4.2、解压安装文件到 /opt/module下面
[Tom@hadoop102 software]$ tar -zxvf hadoop-3.1.3.tar.gz -C /opt/module/
4.3、查看是否解压成功
[Tom@hadoop102 software]$ ls /opt/module/
hadoop-3.1.3 jdk1.8.0_212
4.4、将 Hadoop添加到环境变量
[Tom@hadoop102 software]$ sudo vim /etc/profile.d/my_env.sh
让修改后的文件生效
[Tom@hadoop102 software]$ source /etc/profile
4.5、测试是否安装成功
[Tom@hadoop102 software]$ hadoop version
Hadoop 3.1.3
Source code repository https://gitbox.apache.org/repos/asf/hadoop.git -r ba631c436b806728f8ec2f54ab1e289526c90579
Compiled by ztang on 2019-09-12T02:47Z
Compiled with protoc 2.5.0
From source with checksum ec785077c385118ac91aadde5ec9799
This command was run using /opt/module/hadoop-3.1.3/share/hadoop/common/hadoop-common-3.1.3.jar
[Tom@hadoop102 software]$
4.6、重启 如果 Hadoop命令不能用再重启虚拟机
[Tom@hadoop102 hadoop-3.1.3]$ sudo reboot
5、 Hadoop 目录结构
查看 Hadoop目录结构
[Tom@hadoop102 hadoop-3.1.3]$ ll
总用量 184
-rw-rw-r--. 1 Tom Tom 25 5月 28 16:49 a.txt
drwxr-xr-x. 2 Tom Tom 183 9月 12 2019 bin
drwxrwxr-x. 4 Tom Tom 37 5月 29 10:54 data
drwxr-xr-x. 3 Tom Tom 20 9月 12 2019 etc
drwxrwxr-x. 3 Tom Tom 18 5月 29 10:53 hdfsdata
drwxr-xr-x. 2 Tom Tom 106 9月 12 2019 include
drwxr-xr-x. 3 Tom Tom 20 9月 12 2019 lib
drwxr-xr-x. 4 Tom Tom 288 9月 12 2019 libexec
-rw-rw-r--. 1 Tom Tom 147145 9月 4 2019 LICENSE.txt
drwxrwxr-x. 3 Tom Tom 4096 5月 29 15:36 logs
-rw-rw-r--. 1 Tom Tom 21867 9月 4 2019 NOTICE.txt
-rw-rw-r--. 1 Tom Tom 1366 9月 4 2019 README.txt
drwxr-xr-x. 3 Tom Tom 4096 9月 12 2019 sbin
drwxr-xr-x. 4 Tom Tom 31 9月 12 2019 share
drwxrwxr-x. 2 Tom Tom 22 5月 6 22:23 wcinput
[Tom@hadoop102 hadoop-3.1.3]$
重要目录
（1） bin目录：存放对 Hadoop相关服务（ hdfs yarn mapred）进行操作的脚本
（2） etc目录： Hadoop的配置文件目录，存放 Hadoop的配置文件
（3） lib目录：存放 Hadoop的本地库（对数据进行压缩解压缩功能）
（4） sbin目录：存放启动或停止 Hadoop相关服务的脚本
（5） share目录：存放 Hadoop的依赖 jar包 、文档和官方案例