本地部署大数据集群前置准备

1. 设置VMware网段

虚拟网络编辑器------更改设置------选择VMnet8------子网改成192.168.88.0------NAT设置------网关设置为192.168.88.2

2. 下载CentOS操作系统

下载CentOS 7.6(1810)版本

3. 在VMware中安装CentOS操作系统

创建新的虚拟机------典型------安装光盘映像文件------输入账户名和密码(用户名为hadoop)------给虚拟机起名字并配置路径------磁盘大小默认------完成------等待13分钟左右

4. 克隆出3台虚拟机

将当前虚拟机关机------右键------管理------克隆------下一页------下一页------创建完整克隆------起名并选择路径------完成

重复3次，创建3个节点Node1、Node2、Node3

5. 设置内存

在编辑虚拟机设置里修改内存，将Node1作为主节点，内存设置为4GB，Node2和Node3为2GB

6. 配置主机名与固定IP

修改主机名，打开终端并执行

复制代码

su - 
hostnamectl set-hostname node1

Node2、Node3同理，重新打开终端主机名则改变

设置固定IP

复制代码

su - 
vim /etc/sysconfig/network-scripts/ifcfg-ens33

--将dhcp协议改为static
BOOTPROTO="static"

--node1的IPADDR为101，node2为102，node3为103
IPADDR="192.168.88.101"
NETMASK="255.255.255.0"
GATEWAY="192.168.88.2"
DNS1="192.168.88.2"

--重启网卡
systemctl restart network

7. 配置主机名映射

在Windows系统中修改hosts文件，路径为C:\Windows\System32\drivers\etc\hosts，添加如下

在Linux中修改hosts文件，路径为/etc/hosts，在Node1、Node2、Node3中添加如下

复制代码

192.168.88.101 node1
192.168.88.102 node2
192.168.88.103 node3

8. 配置SSH免密登录

复制代码

--给3个节点分别生成ssh密钥，一路回车到底
ssh-keygen -t rsa -b 4096

--创建完密钥后在3个节点分别执行免密登录授权
ssh-copy-id node1
ssh-copy-id node2
ssh-copy-id node3

9. 给hadoop用户配置免密登录

复制代码

su - hadoop

--给3个节点分别生成ssh密钥，一路回车到底
ssh-keygen -t rsa -b 4096

--创建完密钥后在3个节点分别执行免密登录授权
ssh-copy-id node1
ssh-copy-id node2
ssh-copy-id node3

10. 配置JAVA环境

下载JDK1.8的安装包并上传，然后在3个节点分别执行

复制代码

su -

mkdir -p /export/server
cd /export/server/

tar -zxf jdk-8u361-linux-x64.tar.gz -C /export/server/
ln -s /export/server/jdk1.8.0_361/ /export/server/jdk

vim /etc/profile

--添加如下内容
export JAVA_HOME=/export/server/jdk
export PATH=$PATH:$JAVA_HOME/bin

--加载环境变量
source /etc/profile

rm -f /usr/bin/java
ln -s /export/server/jdk/bin/java /usr/bin/java

--验证java环境
java -version
javac -version

11. 关闭防火墙

复制代码

systemctl stop firewalld
systemctl disable firewalld

12. 关闭SElinux

复制代码

vim /etc/sysconfig/selinux

--将SELINUX=enforcing改为
SELINUX=disabled

13. 时间同步

使用的 CentOS 7 仓库已经被归档，当前的镜像地址无法找到所需的文件，重新配置yum源

复制代码

rm -f /etc/yum.repos.d/*

wget -O /etc/yum.repos.d/CentOS-Base.repo http://mirrors.aliyun.com/repo/Centos-7.repo
wget -O /etc/yum.repos.d/epel.repo http://mirrors.aliyun.com/repo/epel-7.repo

yum clean all
yum makecache

设置时间同步

复制代码

yum install -y ntp

rm -f /etc/localtime
ln -s /usr/share/zoneinfo/Asia/Shanghai /etc/localtime

ntpdate -u ntp.aliyun.com

systemctl start ntpd
systemctl enable ntpd

14.重启集群更新配置

复制代码

init 6