本地部署大数据集群前置准备

1. 设置VMware网段

虚拟网络编辑器------更改设置------选择VMnet8------子网改成192.168.88.0------NAT设置------网关设置为192.168.88.2

2. 下载CentOS操作系统

下载CentOS 7.6(1810)版本

3. 在VMware中安装CentOS操作系统

创建新的虚拟机------典型------安装光盘映像文件------输入账户名和密码(用户名为hadoop)------给虚拟机起名字并配置路径------磁盘大小默认------完成------等待13分钟左右

4. 克隆出3台虚拟机

将当前虚拟机关机------右键------管理------克隆------下一页------下一页------创建完整克隆------起名并选择路径------完成

重复3次,创建3个节点Node1、Node2、Node3

5. 设置内存

在编辑虚拟机设置里修改内存, 将Node1作为主节点,内存设置为4GB,Node2和Node3为2GB

6. 配置主机名与固定IP

修改主机名,打开终端并执行

su - 
hostnamectl set-hostname node1

Node2、Node3同理,重新打开终端主机名则改变

设置固定IP

su - 
vim /etc/sysconfig/network-scripts/ifcfg-ens33

--将dhcp协议改为static
BOOTPROTO="static"

--node1的IPADDR为101,node2为102,node3为103
IPADDR="192.168.88.101"
NETMASK="255.255.255.0"
GATEWAY="192.168.88.2"
DNS1="192.168.88.2"

--重启网卡
systemctl restart network

7. 配置主机名映射

在Windows系统中修改hosts文件,路径为C:\Windows\System32\drivers\etc\hosts,添加如下

在Linux中修改hosts文件,路径为/etc/hosts,在Node1、Node2、Node3中添加如下

192.168.88.101 node1
192.168.88.102 node2
192.168.88.103 node3

8. 配置SSH免密登录

--给3个节点分别生成ssh密钥,一路回车到底
ssh-keygen -t rsa -b 4096

--创建完密钥后在3个节点分别执行免密登录授权
ssh-copy-id node1
ssh-copy-id node2
ssh-copy-id node3

9. 给hadoop用户配置免密登录

su - hadoop

--给3个节点分别生成ssh密钥,一路回车到底
ssh-keygen -t rsa -b 4096

--创建完密钥后在3个节点分别执行免密登录授权
ssh-copy-id node1
ssh-copy-id node2
ssh-copy-id node3

10. 配置JAVA环境

下载JDK1.8的安装包并上传,然后在3个节点分别执行

su -

mkdir -p /export/server
cd /export/server/

tar -zxf jdk-8u361-linux-x64.tar.gz -C /export/server/
ln -s /export/server/jdk1.8.0_361/ /export/server/jdk

vim /etc/profile

--添加如下内容
export JAVA_HOME=/export/server/jdk
export PATH=$PATH:$JAVA_HOME/bin

--加载环境变量
source /etc/profile

rm -f /usr/bin/java
ln -s /export/server/jdk/bin/java /usr/bin/java

--验证java环境
java -version
javac -version

11. 关闭防火墙

systemctl stop firewalld
systemctl disable firewalld

12. 关闭SElinux

vim /etc/sysconfig/selinux

--将SELINUX=enforcing改为
SELINUX=disabled

13. 时间同步

使用的 CentOS 7 仓库已经被归档,当前的镜像地址无法找到所需的文件,重新配置yum源

rm -f /etc/yum.repos.d/*

wget -O /etc/yum.repos.d/CentOS-Base.repo http://mirrors.aliyun.com/repo/Centos-7.repo
wget -O /etc/yum.repos.d/epel.repo http://mirrors.aliyun.com/repo/epel-7.repo

yum clean all
yum makecache

设置时间同步

yum install -y ntp

rm -f /etc/localtime
ln -s /usr/share/zoneinfo/Asia/Shanghai /etc/localtime

ntpdate -u ntp.aliyun.com

systemctl start ntpd
systemctl enable ntpd

14.重启集群更新配置

init 6
相关推荐
赵民勇5 分钟前
debian/control文件中的${shlibs:Depends}
linux·运维·debian
企鹅侠客10 分钟前
开源操作系统纷争:CentOS停服后的新战场
linux·开源·centos
什么半岛铁盒1 小时前
操作系统:计算机架构里的幕后指挥官
linux·c语言·centos·编辑器
kngines1 小时前
【实战 ES】实战 Elasticsearch:快速上手与深度实践-2.1.2字段类型选择:keyword vs text、nested对象
大数据·elasticsearch·搜索引擎
心灵宝贝1 小时前
Linux中jdk-8u291-linux-x64 中jdk工具包
java·linux·开发语言
迷雾骑士2 小时前
CentOS 7.6上安装Docker(1)
linux·docker·centos
Htht1112 小时前
【Linux】之【Bug】VMware 虚拟机开机 一直卡在黑屏左上角下划线闪烁界面
linux·运维·bug
月亮给我抄代码2 小时前
Flink性能指标详解MetricsAnalysis
大数据·flink
溟洵2 小时前
Linux下学【MySQL】表的连接(inner join、left join、right join)(简单试题理解版)
linux·运维·mysql
健康平安的活着2 小时前
性能调优-cpu的性能指标【经典篇】
linux·运维·服务器