本地部署大数据集群前置准备

1. 设置VMware网段

虚拟网络编辑器------更改设置------选择VMnet8------子网改成192.168.88.0------NAT设置------网关设置为192.168.88.2

2. 下载CentOS操作系统

下载CentOS 7.6(1810)版本

3. 在VMware中安装CentOS操作系统

创建新的虚拟机------典型------安装光盘映像文件------输入账户名和密码(用户名为hadoop)------给虚拟机起名字并配置路径------磁盘大小默认------完成------等待13分钟左右

4. 克隆出3台虚拟机

将当前虚拟机关机------右键------管理------克隆------下一页------下一页------创建完整克隆------起名并选择路径------完成

重复3次,创建3个节点Node1、Node2、Node3

5. 设置内存

在编辑虚拟机设置里修改内存, 将Node1作为主节点,内存设置为4GB,Node2和Node3为2GB

6. 配置主机名与固定IP

修改主机名,打开终端并执行

复制代码
su - 
hostnamectl set-hostname node1

Node2、Node3同理,重新打开终端主机名则改变

设置固定IP

复制代码
su - 
vim /etc/sysconfig/network-scripts/ifcfg-ens33

--将dhcp协议改为static
BOOTPROTO="static"

--node1的IPADDR为101,node2为102,node3为103
IPADDR="192.168.88.101"
NETMASK="255.255.255.0"
GATEWAY="192.168.88.2"
DNS1="192.168.88.2"

--重启网卡
systemctl restart network

7. 配置主机名映射

在Windows系统中修改hosts文件,路径为C:\Windows\System32\drivers\etc\hosts,添加如下

在Linux中修改hosts文件,路径为/etc/hosts,在Node1、Node2、Node3中添加如下

复制代码
192.168.88.101 node1
192.168.88.102 node2
192.168.88.103 node3

8. 配置SSH免密登录

复制代码
--给3个节点分别生成ssh密钥,一路回车到底
ssh-keygen -t rsa -b 4096

--创建完密钥后在3个节点分别执行免密登录授权
ssh-copy-id node1
ssh-copy-id node2
ssh-copy-id node3

9. 给hadoop用户配置免密登录

复制代码
su - hadoop

--给3个节点分别生成ssh密钥,一路回车到底
ssh-keygen -t rsa -b 4096

--创建完密钥后在3个节点分别执行免密登录授权
ssh-copy-id node1
ssh-copy-id node2
ssh-copy-id node3

10. 配置JAVA环境

下载JDK1.8的安装包并上传,然后在3个节点分别执行

复制代码
su -

mkdir -p /export/server
cd /export/server/

tar -zxf jdk-8u361-linux-x64.tar.gz -C /export/server/
ln -s /export/server/jdk1.8.0_361/ /export/server/jdk

vim /etc/profile

--添加如下内容
export JAVA_HOME=/export/server/jdk
export PATH=$PATH:$JAVA_HOME/bin

--加载环境变量
source /etc/profile

rm -f /usr/bin/java
ln -s /export/server/jdk/bin/java /usr/bin/java

--验证java环境
java -version
javac -version

11. 关闭防火墙

复制代码
systemctl stop firewalld
systemctl disable firewalld

12. 关闭SElinux

复制代码
vim /etc/sysconfig/selinux

--将SELINUX=enforcing改为
SELINUX=disabled

13. 时间同步

使用的 CentOS 7 仓库已经被归档,当前的镜像地址无法找到所需的文件,重新配置yum源

复制代码
rm -f /etc/yum.repos.d/*

wget -O /etc/yum.repos.d/CentOS-Base.repo http://mirrors.aliyun.com/repo/Centos-7.repo
wget -O /etc/yum.repos.d/epel.repo http://mirrors.aliyun.com/repo/epel-7.repo

yum clean all
yum makecache

设置时间同步

复制代码
yum install -y ntp

rm -f /etc/localtime
ln -s /usr/share/zoneinfo/Asia/Shanghai /etc/localtime

ntpdate -u ntp.aliyun.com

systemctl start ntpd
systemctl enable ntpd

14.重启集群更新配置

复制代码
init 6
相关推荐
bxlj_jcj33 分钟前
深入Flink核心概念:解锁大数据流处理的奥秘
大数据·flink
云资源服务商35 分钟前
阿里云Flink:开启大数据实时处理新时代
大数据·阿里云·云计算
BAOYUCompany1 小时前
暴雨服务器成功中标华中科技大学集成电路学院服务器采购项目
运维·服务器
Aurora_NeAr1 小时前
Spark SQL架构及高级用法
大数据·后端·spark
王小王-1232 小时前
基于Hadoop的公共自行车数据分布式存储和计算平台的设计与实现
大数据·hive·hadoop·分布式·hadoop公共自行车·共享单车大数据分析·hadoop共享单车
数据与人工智能律师2 小时前
数字资产革命中的信任之锚:RWA法律架构的隐形密码
大数据·网络·人工智能·云计算·区块链
鳄鱼皮坡3 小时前
仿muduo库One Thread One Loop式主从Reactor模型实现高并发服务器
运维·服务器
Edingbrugh.南空3 小时前
Flink OceanBase CDC 环境配置与验证
大数据·flink·oceanbase
即将头秃的程序媛3 小时前
centos 7.9安装tomcat,并实现开机自启
linux·运维·centos
fangeqin3 小时前
ubuntu源码安装python3.13遇到Could not build the ssl module!解决方法
linux·python·ubuntu·openssl