Hadoop入门学习笔记——一、VMware准备Linux虚拟机

视频课程地址:https://www.bilibili.com/video/BV1WY4y197g7

课程资料链接:https://pan.baidu.com/s/15KpnWeKpvExpKmOC8xjmtQ?pwd=5ay8

Hadoop入门学习笔记(汇总)

目录

  • 一、VMware准备Linux虚拟机
    • [1.1. VMware安装Linux虚拟机](#1.1. VMware安装Linux虚拟机)
      • [1.1.1. 修改虚拟机子网IP和网关](#1.1.1. 修改虚拟机子网IP和网关)
      • [1.1.2. 安装Linux虚拟机](#1.1.2. 安装Linux虚拟机)
    • [1.2. VMware克隆三台Linux虚拟机](#1.2. VMware克隆三台Linux虚拟机)
    • [1.3. 为三台虚拟机配置固定IP](#1.3. 为三台虚拟机配置固定IP)
    • [1.4. 配置免密登录](#1.4. 配置免密登录)
    • [1.5. JDK环境部署](#1.5. JDK环境部署)
    • [1.6. 防火墙、SELinux、时间同步配置](#1.6. 防火墙、SELinux、时间同步配置)
      • [1.6.1. 关闭防火墙](#1.6.1. 关闭防火墙)
      • [1.6.2. 关闭SELinux](#1.6.2. 关闭SELinux)
      • [1.6.3. 配置时间同步](#1.6.3. 配置时间同步)
    • [1.7. 使用VMware快照功能保存当前已配置好的初始环境](#1.7. 使用VMware快照功能保存当前已配置好的初始环境)

一、VMware准备Linux虚拟机

1.1. VMware安装Linux虚拟机

VMware虚拟机安装程序下载地址(需要自己想办法激活):https://download3.vmware.com/software/WKST-1750-WIN/VMware-workstation-full-17.5.0-22583795.exe

CentOS操作系统镜像下载地址:https://vault.centos.org/7.6.1810/isos/x86_64/CentOS-7-x86_64-DVD-1810.iso

1.1.1. 修改虚拟机子网IP和网关

下载后,先安装VMware虚拟机,安装成功后,需改虚拟机网络配置。

1、在"编辑"-"虚拟网络编辑器"中修改NAT8网卡的子网IP地址;

2、进入编辑器后,选择"VMnet8"网卡,然后点击右下角的"更改设置"按钮;

3、获取管理员权限后,选择"VMnet8"网卡,将其子网IP修改为"192.168.88.0";

4、点击"NAT设置"按钮,在NAT设置界面,将网关IP修改为"192.168.88.2",并保存上述设置。

1.1.2. 安装Linux虚拟机

1、通过VMware菜单中的"文件"-"新建虚拟机"创建一个新的虚拟机;

2、选择前面下载的CentOS操作系统镜像;

3、输入Linux系统用户名和密码(该密码也是root的密码);

4、填写虚拟机名称和虚拟机的存放位置;

5、之后一直下一步、完成,然后虚拟机开始自己安装,直至安装完成,此过程视个人电脑和网络情况可能需要半小时左右,中间不用任何操作,待系统安装完毕后,虚拟机会自动重启,看到如下界面,代表安装成功。

1.2. VMware克隆三台Linux虚拟机

1、将前面安装好的虚拟机关机,然后在VMware左侧的菜单中,鼠标右键刚才安装好的虚拟机,选择"管理"-"克隆";

2、然后点击下一页按钮,直到"克隆方法"界面;

3、在克隆方法界面选择"创建完整克隆",然后继续下一页;

4、重命名虚拟机名称为node1,选择克隆出来的虚拟机存放的路径,然后点击"完成"按钮,VMware就会克隆出一个一摸一样的虚拟机,此过程很快,一般3~5秒的样子;

5、依照上述方法,再克隆出node2和node3,总共3台虚拟机出来;

6、此时先别启动这3台虚拟机,先对3台虚拟机的内存大小进行调整,分别将node1调整到4GB,node2和node3调整成2GB;

7、内存调整完毕后,分别将node1、2、3开机,在开机时,VMware会弹窗提示"无法连接虚拟设备 ide1:0...",直接点"否"即可,至此,虚拟机克隆完毕,后续我们使用的也是这3台虚拟机。

1.3. 为三台虚拟机配置固定IP

1、三台虚拟机分别启动后,在虚拟机中打开命令行,修改主机名,输入如下命令:

bash 复制代码
# 切换成root用户
[itheima@locahost ~]$ su -
# 修改当前虚拟机的主机名,这里只演示node1,node2和node3命令相同,只是最后的参数需要修改成node2和node3
[root@locahost ~]# hostnamectl set-hostname node1

2、上述命令执行完毕后,关闭命令行,并重新打开命令行,此时可以看到命令行内的主机名已经变成了node1、node2和node3

3、在命令行里切换到root用户,并执行如下命令:

bash 复制代码
vim /etc/sysconfig/network-scripts/ifcfg-ens33

4、打开ifcfg-ens33文件后,将其中BOOTPROTO配置项的值修改为static,然后再在文件末尾追加如下内容:

bash 复制代码
IPADDR="192.168.88.101"
NETMASK="255.255.255.0"
GATEWAY="192.168.88.2"
DNS1="192.168.88.2"

其中,在node1虚拟机中,IPADDR的值为192.168.88.101,node2虚拟机的IPADDR的值为192.168.88.102,node3虚拟机的IPADDR的值为192.168.88.103

5、修改网网卡配置后,在命令行中重启网卡,执行如下命令:

bash 复制代码
systemctl restart network

然后可以使用ifconfig命令查看及其的IP地址,查看上述修改是否成功。

1.4. 配置免密登录

1、修改Windows系统(本机,非虚拟机)的hosts文件(目录为C:\Windows\System32\drivers\etc\),将如下内容追加在hosts文件末尾并保存

bash 复制代码
192.168.88.101	node1
192.168.88.102	node2
192.168.88.103	node3

2、使用本机的ssh工具连接三台虚拟机(node1、node2、node3),后续所有的命令通过ssh工具操作;

3、分别修改三台虚拟机的hosts文件,此处以node1为例,在命令行中输入

bash 复制代码
vim /etc/hosts

在hosts文件中追加如下内容:

bash 复制代码
192.168.88.101  node1
192.168.88.102  node2
192.168.88.103  node3

保存并退出,然后同样的步骤修改node2和node3的hosts文件。

4、在三台虚拟机上分别执行ssh-keygen -t rsa -b 4096命令,然后一路回车到底,给三台虚拟机分别生成好自己的密钥;

5、在三台虚拟机上都执行如下命令,完成免密登录的授权操作:

bash 复制代码
ssh-copy-id node1
ssh-copy-id node2
ssh-copy-id node3

执行命令过程中,有配置项需要确认输入yes,然后,还需要输入root密码;

6、可以在node1虚拟机通过命令ssh node2查看是否已经配置好了node1到node2的免密登录,同理,可以在node2验证到另两台服务器的免密登录;

7、至此,我们配置好了三台虚拟机root用户之间的免密登录,接下来,我们还需要配置三台虚拟机之间hadoop用户的免密登录;

8、使用useradd hadooppasswd hadoop命令分别在三台虚拟机上创建hadoop用户;

9、在三台虚拟机上使用su - hadoop命令切换成hadoop用户,然后使用签名用过的ssh-keygen -t rsa -b 4096命令生成hadoop用户的ssh密钥;

10、然后再在三台虚拟机上执行如下命令,实现hadoop用户之间的免密登录:

bash 复制代码
ssh-copy-id node1
ssh-copy-id node2
ssh-copy-id node3

具体操作和上面配置root用户的免密登录时一样。至此,免密登录配置完成。

1.5. JDK环境部署

1、目前还是使用jdk 1.8版本,下载页面:https://www.oracle.com/cn/java/technologies/downloads/,打开页面一直往下划,划到JDK 1.8的部分,下载x64 Compressed Archive版本;

2、下载后,在虚拟机里面切换成root用户,然后将刚才下载好的jdk压缩包上传到root目录下,执行如下命令:

bash 复制代码
 mkdir -p /export/server
# 解压刚才上传的jdk压缩包到/export/server目录
tar -zxvf jdk-8u391-linux-x64.tar.gz -C /export/server/
# 创建软连接
ln -s /export/server/jdk1.8.0_391/ /export/server/jdk

3、配置环境变量,使用命令vim /etc/profile打开环境变量配置文件,然后在文件末尾追加如下内容:

bash 复制代码
export JAVA_HOME=/export/server/jdk
export PATH=$PATH:$JAVA_HOME/bin

然后使用source /etc/profile命令使环境变量生效;

4、将操作系统自带的jdk替换成我们刚才安装的jdk:

bash 复制代码
# 删除系统自带的java程序
rm -f /usr/bin/java
# 软连接我们自己安装的java程序
ln -s /export/server/jdk/bin/java /usr/bin/java

此时,jdk配置完成,可以使用java -versionjavac -version命令校验系统所使用的java是否已经是我们自己安装的JDK。

5、使用scp命令,将已解压的jdk文件夹复制到node2和node3

bash 复制代码
# 复制到node2
scp -r /export/server/jdk1.8.0_391/ node2:`pwd`/
# 复制到node3
scp -r /export/server/jdk1.8.0_391/ node3:`pwd`/

6、然后参考上面的流程,创建软连接、配置环境变量、移除系统自带的java,完成node2和node3的配置。

1.6. 防火墙、SELinux、时间同步配置

1.6.1. 关闭防火墙

在三台虚拟机上分别执行如下命令:

bash 复制代码
# 关闭防火墙
systemctl stop firewalld.service
# 关闭防火墙的开机自启
systemctl disable firewalld.service

1.6.2. 关闭SELinux

使用vim /etc/sysconfig/selinux打开selinux的配置文件,将其中的SELINUX=enforcing修改为SELINUX=disabled,然后保存退出,并重启虚拟机(可通过reboot命令)即可。

1.6.3. 配置时间同步

在三台虚拟机上分别依次执行以下步骤

1、安装ntp软件

bash 复制代码
yum install -y ntp

2、更新时区

bash 复制代码
# 删除系统的默认时区信息
rm -f /etc/localtime
# 设置虚拟机的时区为中国上海时区
ln -s /usr/share/zoneinfo/Asia/Shanghai /etc/localtime

3、同步时间

bash 复制代码
# 使用阿里云的ntp服务校准本机时间
ntpdate -u ntp.aliyun.com

4、开启ntp服务并设置开机自启

bash 复制代码
# 启动NTP服务
systemctl start ntpd.service
# 设置NTP服务开机自启动
systemctl enable ntpd.service

1.7. 使用VMware快照功能保存当前已配置好的初始环境

1、将三台虚拟机全部关机;

2、在VMware中,在左侧虚拟机上右键,选择"快照"-"拍摄快照",填写快照名称和备注,创建虚拟机快照;

node2和node3重复上述步骤,完成快照拍摄

相关推荐
汇能感知1 天前
摄像头模块在运动相机中的特殊应用
经验分享·笔记·科技
阿巴Jun1 天前
【数学】线性代数知识点总结
笔记·线性代数·矩阵
茯苓gao1 天前
STM32G4 速度环开环,电流环闭环 IF模式建模
笔记·stm32·单片机·嵌入式硬件·学习
是誰萆微了承諾1 天前
【golang学习笔记 gin 】1.2 redis 的使用
笔记·学习·golang
DKPT1 天前
Java内存区域与内存溢出
java·开发语言·jvm·笔记·学习
aaaweiaaaaaa1 天前
HTML和CSS学习
前端·css·学习·html
ST.J1 天前
前端笔记2025
前端·javascript·css·vue.js·笔记
Suckerbin1 天前
LAMPSecurity: CTF5靶场渗透
笔记·安全·web安全·网络安全
看海天一色听风起雨落1 天前
Python学习之装饰器
开发语言·python·学习
小憩-1 天前
【机器学习】吴恩达机器学习笔记
人工智能·笔记·机器学习